Ketika AI merekomendasikan suatu pilihan tertentu, pertanyaan “Mengapa Anda berpikir demikian?” akan menghasilkan uraian alasan yang tersusun. AI mungkin mengatakan bahwa kondisi A diprioritaskan, pilihan B memiliki kelemahan tertentu, atau pilihan ini lebih sesuai untuk tujuan C. Penjelasan seperti itu berguna untuk membandingkan dasar-dasar suatu penilaian. Namun, fakta bahwa tulisannya mudah dibaca dan koheren tidak berarti bahwa tulisan itu dapat diperlakukan sebagai catatan langsung tentang pemrosesan yang berlangsung di dalam AI dalam proses menghasilkan keluaran.
Bahkan di antara manusia, terkadang kita mengungkapkan alasan dengan kata-kata setelah kita bertindak. Penjelasan memiliki nilai sebagai representasi yang memungkinkan orang lain memeriksa suatu penilaian, tetapi pernyataan penjelas dan penyebab itu sendiri tidaklah identik. Dalam AI, pembedaan ini bahkan lebih penting. Penjelasan yang dihasilkan adalah keluaran yang dibangun dari konteks yang diberikan; penjelasan itu bukan transkripsi lengkap yang dapat dibaca manusia dari komputasi internal model yang kompleks.
Hal itu tidak mengharuskan kita menyimpulkan bahwa “penjelasan AI tidak bermakna”. Ada hal-hal yang dapat kita periksa melalui suatu penjelasan: asumsi apa yang secara eksplisit digunakannya, kondisi apa yang dinyatakannya penting, bagaimana ia membandingkan alternatif, dan apakah ia mengakui ketidakpastian. Hal-hal ini memberi petunjuk bagi manusia untuk memeriksa keluaran. Yang penting adalah memperlakukan penjelasan bukan sebagai “bukti yang secara langsung mengungkap bagian dalam”, melainkan sebagai “representasi eksternal yang dapat diperiksa”.
Pembedaan ini sangat penting dalam penelitian. Sekalipun kita meminta AI menjelaskan alasan untuk suatu hipotesis, penjelasan itu saja tidak membuktikan bahwa hipotesis tersebut benar. Kita perlu memeriksa sumber asli, pengamatan, bukti yang bertentangan, dan penjelasan alternatif. Kemampuan AI untuk menulis dengan penuh keyakinan berbeda dari persoalan apakah terdapat bukti yang memadai mengenai dunia eksternal. Tidak menggantikan kekuatan bukti dengan kelancaran penjelasan adalah titik awal verifikasi.
Nilai dari bertanya “mengapa?” dalam dialog dengan AI bukanlah untuk mengambil suatu proses internal yang tersembunyi, melainkan untuk mengubah suatu penilaian menjadi bentuk yang dapat diperiksa oleh manusia. Jika kita bertanya “Informasi mana yang Anda perlakukan sebagai fakta?”, “Di mana letak asumsinya?”, dan “Perubahan apa yang akan mengubah kesimpulan?”, kita akan lebih mudah mengenali bagian-bagian lemah dalam keluaran. Ini bukan cara untuk memahami bagian dalam AI secara sepenuhnya, tetapi dapat memperjelas apa yang perlu diverifikasi lebih lanjut oleh manusia.
Pemikiran tingkat meta dapat digunakan bukan hanya untuk melihat cara berpikir kita sendiri dari satu langkah di luar, tetapi juga untuk mempertimbangkan kembali apa yang kita yakini telah kita pelajari tentang AI. Kita dapat membedakan “mampu menjelaskan suatu alasan” dari “mampu mengamati suatu penyebab”, “masuk akal” dari “didukung oleh bukti yang telah diverifikasi”, dan “konsisten” dari “benar”. Dengan pembedaan tersebut, kita dapat menghindari penilaian berlebihan terhadap penjelasan AI sambil tetap menggunakannya sebagai bahan yang berguna untuk pemeriksaan.
Bertanya kepada AI “mengapa?” itu penting. Namun, kita juga perlu bertanya lagi, sebenarnya respons tersebut merupakan jawaban untuk jenis pertanyaan apa. Yang kita perlukan bukanlah ilusi bahwa kita dapat melihat sepenuhnya ke dalam AI, melainkan bahan yang memungkinkan kita memverifikasi suatu penilaian dan merevisinya bila perlu. Mengetahui batas-batas penjelasan tidak berarti tidak mempercayai AI. Itu berarti memahami sejauh mana penjelasan dapat digunakan dan mulai dari titik mana bukti eksternal atau penilaian manusia harus melakukan pemeriksaan.
Bukan jawaban. Pemahaman.