Trong quá trình giải quyết vấn đề bằng AI, các cải thiện cục bộ có thể tiến triển rất nhanh. Những mục tiêu như rút ngắn văn bản, giảm chi phí, giảm thời gian xử lý hoặc xếp hạng các phương án tương đối dễ được nêu rõ và có thể được tối ưu hóa lặp đi lặp lại. Tuy nhiên, việc cải thiện một mục tiêu cục bộ không bảo đảm rằng ta đang tiến gần hơn đến một mục đích cấp cao hơn. Nếu mục đích ban đầu là “giảm gánh nặng cho người dùng”, nhưng việc đánh giá dần chỉ tập trung vào “giảm thiểu số thao tác”, thì số thao tác có thể giảm trong khi mức độ khó hiểu lại tăng lên.
Để phát hiện vấn đề này, chỉ lưu giữ mục đích dưới dạng một câu từ đầu cuộc đối thoại là chưa đủ. Mục đích cấp cao hơn, câu hỏi hiện tại, các ràng buộc đang áp dụng, các chỉ số đánh giá và đầu ra được tạo ra cần được giữ tách biệt theo cách chúng liên hệ với nhau. Câu hỏi hiện tại xử lý phần nào của mục đích cấp cao hơn? Chỉ số đánh giá có phải là một đại diện hợp lệ cho mục đích không? Một ràng buộc được bổ sung trong quá trình có làm biến đổi mục đích không? Sự lệch khỏi mục đích biểu hiện ít hơn như một lỗi ở bất kỳ yếu tố riêng lẻ nào, mà nhiều hơn như một sự thay đổi trong các mối quan hệ giữa các yếu tố.
Tuy nhiên, không phải mọi sự rời xa mục đích ban đầu đều nên bị đánh giá là bất thường. Những sự kiện mới có thể xuất hiện trong quá trình đối thoại, và người dùng có thể thay đổi mục đích một cách chính đáng. Ví dụ, một kế hoạch có thể bắt đầu với mục đích “di chuyển trong thời gian ngắn nhất có thể”, nhưng sau khi biết thông tin mới về an toàn, mục đích có thể chuyển thành “ưu tiên an toàn ngay cả khi mất thêm một chút thời gian”. Trong trường hợp này có sự khác biệt so với mục đích ban đầu, nhưng đó không phải là thất bại; đó là kết quả của việc cập nhật sự hiểu biết.
Vì vậy, điều cần phát hiện không phải là sự khác biệt đơn thuần, mà là con đường mà mục đích đã thay đổi. Cần phân biệt liệu sự thay đổi đó đã được chấp thuận một cách rõ ràng, được biện minh bởi thông tin mới, hay đã bị thay thế một cách ngầm định trong quá trình theo đuổi một chỉ số dễ đo lường. AI có thể chỉ ra sự khác biệt so với đối thoại trước đó và nêu: “Ban đầu, an toàn là một điều kiện, nhưng phép so sánh hiện tại chỉ sử dụng chi phí.” Tuy nhiên, việc thay đổi đó có chấp nhận được hay không vẫn thuộc về phán đoán của người dùng.
Một cơ chế phát hiện sự lệch khỏi mục đích cũng phải đối mặt với vấn đề cảnh báo sai. Mục đích của con người không phải lúc nào cũng có thể được diễn đạt bằng một câu rõ ràng duy nhất, và nhiều giá trị có thể cùng tồn tại trong trạng thái căng thẳng. Nếu AI cảnh báo mọi khác biệt nhỏ trong cách diễn đạt như một sự thay đổi mục đích, cuộc đối thoại sẽ bị chi phối bởi việc xác nhận. Nếu độ nhạy quá thấp, những thay đổi quan trọng trong các tiêu chí giá trị có thể bị bỏ sót. Điều cần thiết là tập trung không phải vào sự trùng khớp từ ngữ, mà vào những khác biệt có khả năng thay đổi kết quả phán đoán.
Về nguyên tắc triển khai, việc định kỳ lần ngược mối quan hệ giữa mục đích và phương tiện là hữu ích. Thay vì chỉ hỏi “Đầu ra này có trả lời câu hỏi hiện tại không?”, ta quay lại với “Câu hỏi này đóng góp cho mục đích nào?” và “Cơ sở nào hỗ trợ kỳ vọng rằng việc cải thiện tiêu chí đánh giá này cũng sẽ cải thiện mục đích cấp cao hơn?” Việc kiểm tra ngược này cho phép tách đánh giá chất lượng đầu ra khỏi đánh giá mức độ phù hợp với mục đích.
Ở đây có không gian để kết nối tư duy ở cấp độ siêu nhận thức của con người với sự hỗ trợ của AI. Con người đảm nhận ý nghĩa và giá trị của các mục đích, nhưng trong một cuộc đối thoại dài, họ có thể quên những điều kiện trước đó hoặc bị con số trước mắt thu hút sự chú ý. AI có thể hỗ trợ bù đắp những bỏ sót như vậy bằng cách so sánh lịch sử và làm hiện rõ các điều kiện đã thay đổi. Đồng thời, bản thân AI cũng thích ứng mạnh với bối cảnh hiện tại, vì vậy việc giao hoàn toàn cho AI nhiệm vụ duy trì mục đích không nhất thiết là đủ. Việc kiểm tra mục đích cần được thiết kế như một thao tác riêng biệt.
Khả năng phát hiện sự lệch khỏi mục đích không phải là khả năng của AI trong việc biết “mục đích thực sự”. Mục đích của con người có thể được hình thành thông qua đối thoại, và các mục đích xung đột có thể cùng tồn tại. Vì vậy, điều AI có thể làm là chỉ ra những điểm không nhất quán phát sinh giữa các mục đích đã được tuyên bố, các câu hỏi hiện tại, các tiêu chí đánh giá và các đầu ra, rồi thúc đẩy việc xem xét lại. Điều quan trọng không phải là suy đoán và cố định mục đích, mà là làm cho khả năng mục đích đã thay đổi trở thành điều con người có thể xem xét.
Từ góc nhìn này, AI có năng lực cao hơn không khiến việc kiểm tra mục đích trở nên không cần thiết. Ngược lại, tối ưu hóa cục bộ càng nhanh và càng có thể tạo ra nhiều đầu ra thuyết phục ở quy mô lớn, thì sự lệch hướng càng khó nhận ra. Thay vì làm suy yếu năng lực của AI vì lý do an toàn, chúng ta cần một tầng khác để có thể xem xét hướng mà năng lực đó đang đi tới. Thiết kế cần đưa cả tốc độ và việc kiểm tra hướng vào một vòng tuần hoàn thay vì coi chúng là đối lập.
Hỏi “để làm gì?” không chỉ đơn thuần là một kỹ thuật đặt câu hỏi. Khi con người và AI cùng khám phá, đó là một thao tác để kiểm tra xem câu hỏi hiện tại còn kết nối với mục đích cấp cao hơn hay không. Thay vì chỉ để mục đích, câu hỏi và đầu ra chảy theo một chiều, chúng ta cần một con đường quay lại từ đầu ra về câu hỏi và từ câu hỏi về mục đích. Với vòng tuần hoàn đó, AI không chỉ có thể tăng tốc các phương pháp mà còn có thể hỗ trợ con người phát hiện liệu các phương pháp có bỏ lại mục đích phía sau hay không.
Không phải câu trả lời. Mà là sự thấu hiểu.