Agar tujuan manusia dapat divalidasi ulang, pertama-tama diperlukan suatu pemicu untuk menilai bahwa “orang tersebut telah berubah”. Namun, ini bukan masalah deteksi yang sederhana. Orang dapat mengubah apa yang mereka katakan karena kelelahan atau emosi sementara, merevisi penilaian setelah menerima informasi baru, atau mengalami perubahan nilai dalam jangka yang lebih panjang. Jika semua ini diperlakukan sebagai jenis perubahan yang sama, AI akan memperbarui keadaan manusia secara terlalu agresif.
Misalkan seseorang dengan tujuan belajar jangka panjang berkata setelah satu hari mengalami kegagalan, “Saya tidak ingin melakukan ini lagi.” Jika pernyataan itu saja membatalkan tujuan tersebut, rasa putus asa sementara dapat disalahartikan sebagai perubahan niat jangka panjang. Sebaliknya, jika tujuan awal tetap dipertahankan meskipun pernyataan dan tindakan yang memprioritaskan nilai lain telah berulang selama berbulan-bulan, perubahan yang substantif dapat dibuang sebagai derau.
Karena itu, setidaknya “reaksi yang diamati”, “interpretasi orang itu sendiri”, “kebertahanan dari waktu ke waktu”, dan “implikasi bagi tujuan” perlu dipisahkan. Reaksi yang diamati mencakup pernyataan, pilihan, dan perasaan yang dilaporkan setelah tindakan. Interpretasi orang tersebut berkaitan dengan bagaimana ia memahami reaksi-reaksi itu. Kebertahanan menanyakan apakah kecenderungan serupa tetap berlangsung ketika kondisi berubah. Implikasi bagi tujuan merupakan penilaian terpisah mengenai apakah faktor-faktor ini benar-benar mengubah alasan atau asumsi yang menopang tujuan saat ini.
Pemisahan ini diperlukan karena AI tidak dapat secara langsung mengamati keadaan batin manusia. AI hanya dapat bekerja dengan informasi yang dieksternalisasikan dalam suatu bentuk, seperti apa yang diungkapkan seseorang secara verbal, tindakan yang dipilihnya, dan hasil yang dibagikannya. Setiap inferensi dari informasi tersebut bahwa “nilai orang itu telah berubah” mengandung ketidakpastian. Jika inferensi itu disimpan sebagai fakta, gambaran tentang orang yang dibuat oleh sistem itu sendiri dapat mengarahkan dialog berikutnya dan menciptakan lingkaran umpan balik yang semakin memperkuat gambaran tersebut.
Pada saat yang sama, desain yang memperlakukan segala sesuatu sebagai tidak pasti dan tidak memperbarui apa pun juga tidak memadai. Jika seseorang berulang kali mengatakan bahwa keadaan sekarang berbeda, pilihannya telah berubah, dan alasan yang menopang tujuan sebelumnya tidak lagi berlaku, perbedaan itu perlu dikembalikan ke dalam dialog. Kuncinya bukan mengonfirmasi perubahan secara otomatis, melainkan merepresentasikannya sebagai keadaan yang memerlukan konfirmasi ulang.
Di sini, berguna untuk tidak memampatkan perubahan secara berlebihan menjadi satu angka atau atribut. Label seperti “motivasi menurun” tidak dapat membedakan kelelahan, ketidakpuasan terhadap metode, atau berkurangnya minat terhadap tujuan itu sendiri. Reaksi permukaan yang sama dapat membawa makna yang berbeda. Untuk menghubungkannya dengan validasi ulang tujuan, sistem harus mempertahankan informasi relasional tentang apa yang mungkin telah berubah dan mampu menguraikannya melalui pertanyaan yang tepat.
Waktu ketika AI mengajukan pertanyaan juga penting. Jika setiap fluktuasi emosi memicu tantangan terhadap tujuan, dialog menjadi tidak stabil. Jika bahkan perubahan jelas yang telah terakumulasi tidak pernah memicu pertimbangan ulang, tujuan lama menjadi tetap. Pemicu yang lebih masuk akal untuk validasi ulang menggabungkan beberapa petunjuk: ketidaksesuaian yang terus-menerus antara alasan sebelumnya dan pilihan saat ini, runtuhnya asumsi penting melalui pengalaman di dunia nyata, atau perubahan eksplisit dalam penilaian nilai yang dinyatakan oleh orang tersebut.
Bahkan ketika beberapa petunjuk selaras, AI tidak perlu membuat pernyataan akhir bahwa “orang tersebut telah berubah”. Sebaliknya, AI dapat menyajikan perbedaannya: “Sebelumnya Anda memilih tujuan ini karena alasan ini, tetapi dalam pengalaman baru-baru ini Anda tampaknya memberi bobot lebih besar pada nilai lain. Bagaimana Anda memahami perbedaan itu?” Ini lebih baik dalam mempertahankan agensi manusia. Tujuan deteksi bukanlah memfinalisasi gambaran tentang seseorang, melainkan menciptakan keadaan di mana orang tersebut dapat memeriksa perubahannya sendiri.
Batas ini penting bagi pemahaman manusia dalam Sai＊aus. Jika AI tidak dapat menangani perubahan manusia, pemahaman jangka panjang menjadi keterikatan pada masa lalu. Jika AI menegaskan perubahan terlalu kuat, AI membatasi orang tersebut di dalam inferensi sistem. Yang diperlukan adalah mempertahankan tanda-tanda perubahan, membedakan inferensi dari pemahaman orang tersebut tentang dirinya sendiri, dan mengubah perbedaan itu menjadi pertanyaan untuk validasi ulang.
Tidak ada satu titik tunggal tempat AI seharusnya “mendeteksi” bahwa seorang manusia telah berubah. Baik reaksi setelah tindakan maupun perubahan dalam ungkapan saja tidaklah cukup. Kemungkinan perubahan harus ditangani secara bertahap dengan mempertimbangkan kontak dengan realitas, interpretasi orang tersebut, kebertahanan dari waktu ke waktu, dan hubungan dengan alasan yang menopang tujuan sebelumnya. AI tidak membutuhkan kemampuan untuk menyatakan keadaan batin seseorang secara tepat. AI membutuhkan representasi dan struktur dialog yang tidak terlalu cepat mengonfirmasi perubahan maupun mengabaikannya.
Bukan jawaban. Pemahaman.