Ketika kita meminta AI untuk “menunjukkan asumsi yang mungkin saya lewatkan”, “memberikan pandangan yang berlawanan”, atau “memisahkan hal-hal yang tidak dapat kamu yakini”, kita memperoleh bahan untuk mempertimbangkan kembali penilaian dari satu langkah di luar penilaian itu sendiri. Fungsi semacam itu dapat diharapkan mendukung metakognisi. Namun, sekadar membaca banyak perspektif atau merasa bahwa kita menjadi lebih berhati-hati tidak membuktikan bahwa kemampuan penilaian telah meningkat. Jika kita mengevaluasinya sebagai penelitian, kita perlu menentukan terlebih dahulu perubahan apa yang dihasilkan oleh dukungan yang akan dianggap sebagai “peningkatan”.
Salah satu ukuran adalah kalibrasi. Kalibrasi berkaitan dengan seberapa dekat ketepatan suatu penilaian sesuai dengan tingkat keyakinan seseorang. Memiliki keyakinan tinggi ketika benar dan mampu menurunkan keyakinan ketika salah dapat lebih diinginkan daripada sekadar memiliki keyakinan yang kuat. Jika AI menyajikan contoh tandingan dan ketidakpastian dan hasilnya hanya membuat pengguna kehilangan keyakinan terhadap segala sesuatu, hal itu belum tentu merupakan peningkatan. Yang penting adalah apakah tingkat keyakinan menjadi lebih sesuai dengan kekuatan bukti.
Ukuran kedua adalah deteksi kesalahan. Kita dapat membandingkan seberapa baik pengguna yang menerima dukungan AI menemukan asumsi yang keliru, kontradiksi, dan bukti yang tidak memadai dalam penalaran mereka sendiri atau dalam keluaran AI. Namun, jika AI secara langsung memberi tahu mereka letak kesalahannya, peningkatan kinerja bukanlah hal yang mengejutkan. Untuk mengevaluasi dukungan terhadap metakognisi, kita perlu memisahkan kondisi ketika jawaban diberikan dari kondisi ketika hanya perspektif untuk pemeriksaan yang diberikan. Dengan melihat apakah pengguna dapat mendeteksi kesalahan dalam masalah yang berbeda setelah menerima dukungan, kita dapat mengkaji perbedaan antara peningkatan penilaian dan sekadar ketergantungan pada jawaban.
Isu ketiga adalah transfer. Jika orang yang menerima dukungan untuk “memeriksa asumsi” pada satu tugas kemudian mulai memeriksa asumsi secara spontan dalam bidang lain, dukungan tersebut telah melampaui peningkatan sementara dalam kinerja tugas. Sebaliknya, jika mereka menjadi berhati-hati hanya ketika AI hadir dan kembali ke gaya penilaian sebelumnya ketika dukungan menghilang, sistem tersebut mungkin lebih berfungsi sebagai bantuan eksternal daripada sebagai pembentukan kemampuan. Keduanya tidak buruk secara inheren, tetapi klaim mengenai efeknya harus membedakan keduanya.
Waktu pengambilan keputusan juga tidak dapat diabaikan. Dukungan terhadap metakognisi sering kali memerlukan pemeriksaan tambahan. Jika ketepatan hanya meningkat sedikit sementara waktu meningkat secara substansial pada tugas sederhana dan berisiko rendah, nilai praktisnya mungkin terbatas. Sebaliknya, dalam keputusan yang memungkinkan terjadinya kerugian serius, waktu tambahan mungkin dapat diterima. Oleh karena itu, efek perlu dievaluasi bukan hanya berdasarkan ketepatan, tetapi juga dalam kombinasi dengan risiko tugas, waktu, dan beban kognitif.
Kita juga harus mengkaji kemungkinan bahwa dukungan meningkatkan kepercayaan diri yang berlebihan. Fakta bahwa “AI bahkan telah memeriksa pandangan yang berlawanan” dapat memberi pengguna rasa aman yang berlebihan. Bahkan ketika suatu sistem menyajikan berbagai perspektif, informasi yang mendasarinya mungkin salah atau perspektif penting mungkin masih tidak tercakup. Jika keberadaan dukungan metakognitif itu sendiri dianggap sebagai jaminan kualitas, fungsi dukungan tersebut menjadi otoritas baru.
Sebaliknya, peringatan yang berlebihan dapat membuat penilaian menjadi tidak mungkin dilakukan. Jika AI setiap kali menyajikan banyak contoh tandingan, ketidakpastian, dan kondisi tambahan, pengguna mungkin terus merasa bahwa “kita masih belum memeriksa dengan cukup”. Karena itu, penelitian perlu memvariasikan bukan hanya ada atau tidaknya dukungan, tetapi juga frekuensi dan waktu intervensi. Metode yang melakukan intervensi hanya ketika terdapat tanda-tanda kesalahan mungkin memiliki hubungan antara ketepatan dan beban yang berbeda dari metode yang melakukan intervensi secara terus-menerus.
Kondisi pembanding juga penting dalam desain eksperimen. Hanya membandingkan dukungan AI dengan tanpa dukungan membuat kita sulit memisahkan efek dari sekadar menerima lebih banyak informasi dengan efek dukungan metakognitif. Kondisi yang memberikan jumlah informasi tambahan yang sama, hanya memberikan pandangan yang berlawanan, atau meminta peserta membuat daftar asumsi sendiri dapat membantu mengkaji secara lebih rinci intervensi mana yang memengaruhi apa. Efek juga dapat berbeda menurut jenis tugas dan pengalaman peserta.
Kita juga perlu membedakan kinerja penilaian jangka pendek dari pembentukan kemampuan jangka panjang. Jika AI mengompensasi suatu kelemahan pada saat itu, hasil langsung dapat membaik. Namun, apakah penggunaan jangka panjang meningkatkan kemampuan pengguna sendiri untuk memeriksa penilaian atau justru meningkatkan ketergantungan pada dukungan eksternal adalah pertanyaan yang berbeda. Perbedaan ini dapat dipelajari dengan mengevaluasi pengguna tanpa dukungan setelah penggunaan berkelanjutan dan dengan mengukur transfer ke tugas yang berbeda.
Ketika mengevaluasi desain seperti Sai＊aus yang menekankan pembaruan pemahaman, laporan diri bahwa “pengguna merasa telah berpikir lebih mendalam” tidaklah cukup. Kita perlu mengukur dalam kondisi apa deteksi kesalahan meningkat, apakah kalibrasi keyakinan berubah, apakah revisi asumsi berpindah ke tugas lain, dan apakah kemandirian dalam penilaian tetap terjaga. Pada saat yang sama, penting untuk tidak mengasumsikan adanya peningkatan dalam setiap situasi, melainkan mencatat kondisi ketika efeknya lemah atau merugikan.
Nilai AI yang mendukung metakognisi tidak ditetapkan hanya oleh prinsip yang menarik. Hanya dengan menguji kapan, pada tugas apa, dan menurut ukuran apa kemampuan untuk mempertimbangkan kembali pemikiran sendiri menghasilkan peningkatan, klaim desain dapat dihubungkan dengan efek empiris. Ada jarak yang harus diukur antara AI yang tampak “membuat orang berpikir” dan penilaian manusia yang benar-benar membaik. Melakukan penelitian sambil mempertahankan jarak tersebut merupakan kehati-hatian yang diperlukan dari desain yang mengklaim mendukung pemahaman.
Bukan jawaban. Pemahaman.