Optimasi sangat kuat ketika tujuannya jelas. Setelah kondisi ditetapkan — mempersingkat waktu perjalanan, mengurangi biaya, atau mengurangi beban kerja sambil mempertahankan tingkat kualitas tertentu — AI dapat membandingkan banyak pilihan. Namun, dalam penilaian manusia yang penting, tujuan itu sendiri mungkin tidak tunggal atau belum ditetapkan. Seseorang mungkin ingin meningkatkan pendapatan sekaligus menjaga waktu bersama keluarga, atau mengejar pertumbuhan tanpa menambah beban terhadap kesehatannya. Dalam situasi seperti itu, hubungan di antara berbagai nilai perlu dipertimbangkan sebelum optimasi dimulai.
Masalahnya bukan pada tindakan mengubah berbagai nilai menjadi angka. Memberikan bobot untuk perbandingan dapat berguna. Namun, ketika menjadi tidak jelas siapa yang menetapkan bobot tersebut dan mengapa, pembentukan tujuan berubah menjadi sekadar kondisi komputasional. Misalnya, jika sejak awal diberikan pengaturan yang memberi bobot tinggi pada pendapatan, AI dapat memberikan rekomendasi yang konsisten berdasarkan kondisi tersebut. Meski demikian, apakah orang itu benar-benar ingin memprioritaskan pendapatan di atas segala hal lainnya tidak dapat disimpulkan dari ketepatan perhitungan.
Bagi manusia yang terbatas, perbedaan ini penting. Jika setelah menetapkan tujuan yang salah kita dapat berulang kali memulai hidup dari awal, mungkin kemudian kita dapat memilih pembobotan yang menghasilkan hasil terbaik. Namun, dalam kenyataan, sebagian waktu yang telah digunakan dan peluang yang hilang akibat suatu pilihan tidak kembali. Karena itu, “Apa yang seharusnya dioptimalkan?” bukan sekadar tahap prapemrosesan teknis; pertanyaan itu merupakan bagian dari penilaian tentang untuk apa seseorang akan menggunakan waktunya yang terbatas.
Sebagai dukungan bagi pemikiran, AI dapat membuat konflik di dalam suatu tujuan terlihat, alih-alih menetapkan tujuan itu sendiri. AI dapat menunjukkan apa yang berubah ketika satu nilai diprioritaskan dan bagaimana peringkat pilihan berubah ketika nilai lain diberi bobot lebih besar. Melalui pertanyaan, AI juga dapat memeriksa apakah sesuatu yang di permukaan tampak sebagai satu tujuan sebenarnya memuat berbagai keinginan. Perbandingan semacam itu dapat membantu seseorang memahami apa yang sedang berusaha dipilihnya sebelum masalah tersebut direduksi menjadi satu optimum.
Di sini, mengajukan pertanyaan tidak boleh menjadi tujuan itu sendiri. Jika tujuannya jelas dan pilihannya mudah dibalik, berhenti setiap kali justru akan membuat dukungan menjadi membebani. Yang penting adalah mengenali situasi ketika ambiguitas dalam tujuan dapat mengubah kesimpulan, berbagai nilai saling bertentangan, atau pilihan memiliki tingkat ketakterbalikan yang tinggi. Pertanyaan bukanlah penolakan terhadap kecepatan; pertanyaan adalah sarana yang diperlukan ketika tujuan belum terbentuk sebagai sesuatu yang dapat dikenali manusia sebagai miliknya sendiri.
Bagi Sai＊aus, di sinilah optimasi dan pemahaman bertemu. Sekalipun AI menemukan sarana yang sangat baik, efisiensi tinggi tidak selalu berarti hasil yang diinginkan jika manusia tidak memahami tujuan yang dituju oleh sarana tersebut. Karena itu, lapisan yang membandingkan sarana dan lapisan yang memeriksa apa yang penting tidak boleh dicampuradukkan. Kemampuan AI dapat digunakan sebagai bahan untuk membentuk tujuan sambil mempertahankan struktur yang memungkinkan manusia bertanggung jawab atas prioritas yang diberikan kepada berbagai nilai.
Menentukan “apa yang penting” sebelum optimasi tidak berarti seseorang harus selalu berpikir sendirian dan terisolasi. Manusia membentuk nilai dalam hubungan dengan orang lain dan dalam tanggung jawab sosial. AI juga dapat mendukung pemeriksaan tersebut. Meski demikian, sesuatu yang telah menjadi dapat dihitung belum tentu merupakan sesuatu yang seharusnya didelegasikan. Dukungan bagi pemikiran perlu mempertahankan kondisi agar subjek yang terbatas dapat memahami apa yang diprioritaskan oleh pilihannya dan apa yang dilepaskannya, lalu menggunakan optimasi tanpa menghapus penilaian manusia.
Bukan jawaban. Pemahaman.