Dalam pemecahan masalah dengan AI, perbaikan lokal dapat berlangsung sangat cepat. Sasaran seperti mempersingkat teks, menurunkan biaya, mengurangi waktu pemrosesan, atau memberi peringkat pada kandidat relatif mudah dinyatakan secara eksplisit dan dapat dioptimalkan secara berulang. Namun, perbaikan suatu sasaran lokal tidak menjamin pergerakan menuju tujuan tingkat lebih tinggi. Jika tujuan awal adalah “mengurangi beban pengguna”, tetapi evaluasi secara bertahap hanya berfokus pada “meminimalkan jumlah operasi”, jumlah operasi dapat berkurang sementara kesulitan untuk memahami justru meningkat.
Untuk mendeteksi masalah ini, tidak cukup hanya menyimpan tujuan sebagai sebuah kalimat dari awal dialog. Tujuan tingkat lebih tinggi, pertanyaan saat ini, batasan yang berlaku, metrik evaluasi, dan keluaran yang dihasilkan perlu dipertahankan sebagai unsur yang berbeda berdasarkan hubungan di antara semuanya. Bagian mana dari tujuan tingkat lebih tinggi yang ditangani oleh pertanyaan saat ini? Apakah metrik evaluasi merupakan indikator pengganti yang sah bagi tujuan? Apakah suatu batasan yang ditambahkan di tengah proses telah mengubah tujuan? Pergeseran dari tujuan muncul bukan terutama sebagai kesalahan pada satu unsur, melainkan sebagai perubahan dalam hubungan antarunsur.
Namun, tidak setiap penyimpangan dari tujuan awal harus dinilai sebagai sesuatu yang tidak normal. Fakta baru dapat muncul melalui dialog, dan pengguna dapat secara sah mengubah tujuan. Misalnya, suatu rencana dapat dimulai dengan tujuan “melakukan perjalanan dalam waktu sesingkat mungkin”, tetapi setelah memperoleh informasi baru tentang keselamatan, tujuan itu dapat berubah menjadi “memprioritaskan keselamatan meskipun membutuhkan waktu sedikit lebih lama”. Dalam kasus ini memang ada perbedaan dari tujuan awal, tetapi itu bukan kegagalan; itu adalah hasil dari pembaruan pemahaman.
Karena itu, yang perlu dideteksi bukanlah sekadar perbedaan, melainkan jalur perubahan tujuan tersebut. Kita perlu membedakan apakah perubahan itu disetujui secara eksplisit, dibenarkan oleh informasi baru, atau secara implisit tergantikan ketika mengejar metrik yang mudah diukur. AI dapat menunjukkan perbedaan dari dialog sebelumnya dan menyatakan, “Pada awalnya keselamatan merupakan suatu kondisi, tetapi perbandingan saat ini hanya menggunakan biaya.” Namun, apakah perubahan itu dapat diterima tetap merupakan keputusan pengguna.
Mekanisme untuk mendeteksi pergeseran dari tujuan juga menghadapi masalah peringatan palsu. Tujuan manusia tidak selalu dapat dinyatakan dalam satu kalimat yang jelas, dan beberapa nilai dapat berada dalam ketegangan satu sama lain. Jika AI memperingatkan setiap perbedaan kecil dalam ungkapan sebagai perubahan tujuan, dialog akan didominasi oleh konfirmasi. Jika sensitivitas terlalu rendah, perubahan penting dalam kriteria nilai dapat terlewat. Yang dibutuhkan adalah penekanan bukan pada kecocokan kata, melainkan pada perbedaan yang dapat mengubah hasil penilaian.
Sebagai prinsip implementasi, menelusuri hubungan antara tujuan dan sarana secara terbalik pada interval yang teratur merupakan langkah yang berguna. Alih-alih hanya bertanya, “Apakah keluaran ini menjawab pertanyaan saat ini?”, kita kembali pada “Tujuan apa yang didukung oleh pertanyaan ini?” dan “Dasar apa yang mendukung harapan bahwa peningkatan kriteria evaluasi ini juga akan meningkatkan tujuan tingkat lebih tinggi?” Pemeriksaan terbalik ini memungkinkan evaluasi kualitas keluaran dipisahkan dari evaluasi kesesuaiannya dengan tujuan.
Di sini terdapat ruang untuk menghubungkan pemikiran tingkat meta manusia dengan dukungan AI. Manusia memikul makna dan nilai dari tujuan, tetapi dalam dialog yang panjang mereka dapat melupakan kondisi sebelumnya atau perhatian mereka tersita oleh angka yang ada di hadapan mereka. AI dapat membantu menutupi kelalaian semacam itu dengan membandingkan riwayat dan membuat kondisi yang berubah menjadi terlihat. Pada saat yang sama, AI sendiri juga sangat menyesuaikan diri dengan konteks saat ini, sehingga menyerahkan pemeliharaan tujuan sepenuhnya kepada AI belum tentu memadai. Pemeriksaan tujuan perlu dirancang sebagai operasi yang terpisah.
Kemampuan untuk mendeteksi pergeseran dari tujuan bukanlah kemampuan AI untuk mengetahui “tujuan yang sebenarnya”. Tujuan manusia dapat terbentuk melalui dialog, dan tujuan yang saling bertentangan dapat hadir secara bersamaan. Karena itu, yang dapat dilakukan AI adalah menunjukkan ketidakkonsistenan yang muncul antara tujuan yang dinyatakan, pertanyaan saat ini, kriteria evaluasi, dan keluaran, lalu mendorong peninjauan kembali. Yang penting bukanlah menyimpulkan dan menetapkan tujuan, melainkan membuat kemungkinan bahwa tujuan telah berubah tersedia untuk diperiksa oleh manusia.
Dari sudut pandang ini, AI yang lebih mampu tidak membuat pemeriksaan tujuan menjadi tidak diperlukan. Sebaliknya, semakin cepat optimasi lokal berlangsung dan semakin banyak keluaran persuasif yang dapat dihasilkan dalam skala besar, semakin sulit pergeseran arah untuk disadari. Alih-alih melemahkan kemampuan AI demi keselamatan, kita memerlukan lapisan lain tempat arah dari kemampuan tersebut dapat diperiksa. Perancangan perlu membuat kecepatan dan pemeriksaan arah bersirkulasi bersama, alih-alih memperlakukannya sebagai hal yang berlawanan.
Bertanya “untuk apa?” bukan sekadar teknik bertanya. Ketika manusia dan AI menjelajah bersama, itu adalah operasi untuk memeriksa apakah pertanyaan saat ini masih terhubung dengan tujuan tingkat lebih tinggi. Alih-alih membiarkan tujuan, pertanyaan, dan keluaran mengalir hanya dalam satu arah, kita memerlukan jalur kembali dari keluaran ke pertanyaan dan dari pertanyaan ke tujuan. Dengan siklus tersebut, AI tidak hanya dapat mempercepat metode, tetapi juga mendukung manusia dalam menemukan apakah metode telah meninggalkan tujuan di belakang.
Bukan jawaban. Pemahaman.