Tối ưu hóa phát huy sức mạnh khi mục tiêu rõ ràng. Khi các điều kiện đã được xác định — rút ngắn thời gian di chuyển, giảm chi phí, hoặc giảm khối lượng công việc trong khi vẫn duy trì một mức chất lượng nhất định — AI có thể so sánh nhiều phương án. Nhưng trong những phán đoán quan trọng của con người, bản thân mục tiêu có thể không đơn nhất hoặc chưa được xác định. Một người có thể muốn tăng thu nhập đồng thời vẫn bảo vệ thời gian dành cho gia đình, hoặc theo đuổi sự phát triển mà không làm tăng gánh nặng đối với sức khỏe. Trong những tình huống như vậy, mối quan hệ giữa các giá trị phải được xem xét trước khi bắt đầu tối ưu hóa.
Vấn đề không nằm ở hành động chuyển nhiều giá trị thành các con số. Việc gán trọng số để so sánh có thể hữu ích. Nhưng khi không còn rõ ai đã đặt ra những trọng số đó và vì sao, việc hình thành mục tiêu trở thành một điều kiện tính toán đơn thuần. Chẳng hạn, nếu ngay từ đầu đã đặt một thiết lập coi trọng thu nhập ở mức cao, AI có thể đưa ra các khuyến nghị nhất quán theo điều kiện đó. Dù vậy, việc người đó có thực sự muốn ưu tiên thu nhập hơn mọi thứ khác hay không không thể được suy ra từ tính đúng đắn của phép tính.
Đối với con người hữu hạn, sự khác biệt này rất quan trọng. Nếu sau khi đặt sai mục tiêu, chúng ta có thể nhiều lần bắt đầu lại cuộc đời từ đầu, có lẽ về sau chúng ta có thể chọn cách gán trọng số đã tạo ra kết quả tốt nhất. Tuy nhiên, trong thực tế, một phần thời gian đã bỏ ra và những cơ hội đã mất do một lựa chọn sẽ không quay trở lại. Vì vậy, “Điều gì nên được tối ưu hóa?” không chỉ là một bước tiền xử lý kỹ thuật; nó là một phần của phán đoán về việc một người sẽ sử dụng thời gian hữu hạn của mình vào điều gì.
Với vai trò hỗ trợ tư duy, AI có thể làm cho những xung đột bên trong một mục tiêu trở nên rõ ràng thay vì tự mình cố định mục tiêu đó. AI có thể cho thấy điều gì thay đổi khi một giá trị được ưu tiên và thứ hạng của các phương án thay đổi ra sao khi một giá trị khác được đặt trọng số cao hơn. Thông qua các câu hỏi, AI cũng có thể kiểm tra xem điều bề ngoài có vẻ là một mục tiêu duy nhất có thực sự chứa nhiều mong muốn hay không. Những so sánh như vậy có thể giúp một người hiểu mình đang cố gắng lựa chọn điều gì trước khi thu gọn vấn đề thành một phương án tối ưu duy nhất.
Ở đây, việc đặt câu hỏi không được trở thành mục đích tự thân. Nếu mục tiêu rõ ràng và lựa chọn dễ dàng đảo ngược, việc dừng lại mỗi lần sẽ khiến sự hỗ trợ trở nên nặng nề. Điều quan trọng là nhận diện những tình huống mà sự mơ hồ của mục tiêu có thể làm thay đổi kết luận, nhiều giá trị xung đột với nhau, hoặc lựa chọn có tính không thể đảo ngược ở mức cao. Câu hỏi không phải là sự phản đối tốc độ; đó là một phương tiện cần thiết khi mục tiêu chưa được hình thành thành điều mà con người có thể nhận ra là của chính mình.
Đối với Sai＊aus, đây là nơi tối ưu hóa và sự thấu hiểu gặp nhau. Ngay cả khi AI tìm ra một phương tiện xuất sắc, hiệu quả cao không nhất thiết đồng nghĩa với một kết quả đáng mong muốn nếu con người không hiểu mục tiêu mà phương tiện đó hướng tới. Vì vậy, không nên đánh đồng tầng so sánh các phương tiện với tầng xem xét điều gì là quan trọng. Năng lực của AI có thể được sử dụng làm chất liệu để hình thành mục tiêu, đồng thời duy trì một cấu trúc trong đó con người có thể chịu trách nhiệm về thứ tự ưu tiên được dành cho các giá trị.
Quyết định “điều gì là quan trọng” trước khi tối ưu hóa không có nghĩa là một người luôn phải suy nghĩ một mình và trong sự cô lập. Con người hình thành các giá trị trong mối quan hệ với người khác và trong các trách nhiệm xã hội. AI cũng có thể hỗ trợ quá trình xem xét đó. Dù vậy, điều đã trở nên có thể tính toán không nhất thiết là điều nên được ủy thác. Hỗ trợ tư duy cần duy trì điều kiện để các chủ thể hữu hạn có thể hiểu lựa chọn của mình ưu tiên điều gì và từ bỏ điều gì, rồi sử dụng tối ưu hóa mà không xóa đi phán đoán của con người.
Không phải câu trả lời. Mà là sự thấu hiểu.