Khi chúng ta yêu cầu AI “chỉ ra những giả định mà tôi có thể đang bỏ sót”, “đưa ra các quan điểm đối lập” hoặc “tách riêng những điểm mà bạn không thể chắc chắn”, chúng ta có được tư liệu để xem xét lại phán đoán từ một vị trí bên ngoài nó. Có thể kỳ vọng những chức năng như vậy sẽ hỗ trợ siêu nhận thức. Tuy nhiên, chỉ việc đọc nhiều góc nhìn hoặc cảm thấy mình đã trở nên thận trọng hơn không chứng minh rằng năng lực phán đoán đã được cải thiện. Nếu đánh giá điều này như một nghiên cứu, chúng ta cần xác định trước những thay đổi nào do sự hỗ trợ tạo ra sẽ được tính là “cải thiện”.
Một thước đo là hiệu chỉnh. Hiệu chỉnh liên quan đến mức độ tương ứng giữa độ chính xác của một phán đoán và mức độ tự tin của người đưa ra phán đoán đó. Có mức tự tin cao khi đúng và có thể hạ mức tự tin khi sai có thể đáng mong muốn hơn việc chỉ đơn giản là luôn tự tin cao. Nếu AI đưa ra các phản ví dụ và sự bất định mà kết quả chỉ là người dùng mất tự tin vào mọi thứ, thì điều đó không nhất thiết là một sự cải thiện. Điều quan trọng là mức độ tự tin có trở nên tương ứng thích hợp hơn với độ mạnh của bằng chứng hay không.
Thước đo thứ hai là phát hiện lỗi. Chúng ta có thể so sánh mức độ người dùng nhận hỗ trợ từ AI phát hiện được các giả định sai, mâu thuẫn và bằng chứng không đầy đủ trong lập luận của chính họ hoặc trong đầu ra của AI. Tuy nhiên, nếu AI trực tiếp chỉ cho họ lỗi nằm ở đâu thì việc thành tích được cải thiện không có gì đáng ngạc nhiên. Để đánh giá sự hỗ trợ cho siêu nhận thức, chúng ta cần tách biệt điều kiện trong đó câu trả lời được cung cấp với điều kiện chỉ cung cấp các góc nhìn để xem xét. Bằng cách xem liệu người dùng có thể phát hiện lỗi trong những vấn đề khác sau khi nhận hỗ trợ hay không, chúng ta có thể khảo sát sự khác biệt giữa phán đoán được cải thiện và việc chỉ đơn thuần phụ thuộc vào câu trả lời.
Vấn đề thứ ba là sự chuyển giao. Nếu những người nhận được hỗ trợ để “kiểm tra các giả định” trong một nhiệm vụ sau đó bắt đầu tự phát kiểm tra các giả định trong một lĩnh vực khác, thì sự hỗ trợ đã vượt ra ngoài việc cải thiện tạm thời hiệu suất của nhiệm vụ. Ngược lại, nếu họ chỉ trở nên thận trọng khi có AI và quay lại cách phán đoán trước đây khi sự hỗ trợ biến mất, hệ thống có thể đang hoạt động giống một công cụ hỗ trợ bên ngoài hơn là hình thành năng lực. Không trường hợp nào tự thân là xấu, nhưng các tuyên bố về tác động cần phân biệt hai trường hợp này.
Thời gian ra quyết định cũng không thể bị bỏ qua. Hỗ trợ siêu nhận thức thường đòi hỏi những bước kiểm tra bổ sung. Nếu độ chính xác chỉ cải thiện đôi chút trong khi thời gian tăng đáng kể ở các nhiệm vụ đơn giản, ít rủi ro, giá trị thực tiễn của nó có thể bị hạn chế. Ngược lại, trong những quyết định có khả năng gây ra tổn thất nghiêm trọng, thời gian bổ sung có thể được chấp nhận. Vì vậy, tác động cần được đánh giá không chỉ bằng độ chính xác mà còn kết hợp với rủi ro của nhiệm vụ, thời gian và tải nhận thức.
Chúng ta cũng phải xem xét khả năng sự hỗ trợ làm tăng mức độ quá tự tin. Việc “AI thậm chí đã kiểm tra cả các quan điểm đối lập” có thể khiến người dùng yên tâm quá mức. Ngay cả khi một hệ thống trình bày nhiều góc nhìn, thông tin nền tảng vẫn có thể sai hoặc những góc nhìn quan trọng vẫn có thể bị thiếu. Nếu bản thân sự tồn tại của hỗ trợ siêu nhận thức được coi là sự bảo đảm về chất lượng, chức năng hỗ trợ sẽ trở thành một thẩm quyền mới.
Ngược lại, quá nhiều cảnh báo có thể khiến việc đưa ra phán đoán trở nên bất khả thi. Nếu AI mỗi lần đều trình bày rất nhiều phản ví dụ, sự bất định và điều kiện bổ sung, người dùng có thể liên tục cảm thấy rằng “chúng ta vẫn chưa xem xét đủ”. Vì vậy, nghiên cứu cần thay đổi không chỉ việc có hay không có hỗ trợ mà cả tần suất và thời điểm can thiệp. Một phương pháp chỉ can thiệp khi có dấu hiệu lỗi có thể có mối quan hệ giữa độ chính xác và gánh nặng khác với một phương pháp can thiệp liên tục.
Các điều kiện so sánh cũng quan trọng trong thiết kế thực nghiệm. Chỉ so sánh có hỗ trợ AI với không có hỗ trợ khiến việc tách biệt tác động của việc đơn giản là nhận được nhiều thông tin hơn khỏi tác động của hỗ trợ siêu nhận thức trở nên khó khăn. Các điều kiện cung cấp cùng một lượng thông tin bổ sung, chỉ cung cấp các quan điểm đối lập hoặc yêu cầu người tham gia tự liệt kê các giả định có thể giúp xem xét chi tiết hơn loại can thiệp nào tác động đến điều gì. Tác động cũng có thể khác nhau tùy theo loại nhiệm vụ và kinh nghiệm của người tham gia.
Chúng ta cũng cần phân biệt hiệu suất phán đoán ngắn hạn với sự hình thành năng lực dài hạn. Nếu AI bù đắp một điểm yếu ngay tại thời điểm đó, kết quả tức thời có thể được cải thiện. Nhưng liệu việc sử dụng lâu dài có làm tăng năng lực tự xem xét phán đoán của người dùng hay ngược lại làm tăng sự phụ thuộc vào hỗ trợ bên ngoài là một câu hỏi khác. Sự khác biệt này có thể được nghiên cứu bằng cách đánh giá người dùng trong điều kiện không có hỗ trợ sau một thời gian sử dụng kéo dài và bằng cách đo sự chuyển giao sang các nhiệm vụ khác.
Khi đánh giá một thiết kế như Sai＊aus, vốn nhấn mạnh việc cập nhật sự hiểu biết, báo cáo chủ quan rằng “người dùng cảm thấy mình đã suy nghĩ sâu hơn” là chưa đủ. Chúng ta cần đo lường trong những điều kiện nào khả năng phát hiện lỗi được cải thiện, việc hiệu chỉnh mức độ tự tin có thay đổi hay không, việc sửa đổi các giả định có chuyển giao sang những nhiệm vụ khác hay không và tính chủ thể trong phán đoán có được duy trì hay không. Đồng thời, điều quan trọng là không giả định rằng mọi tình huống đều được cải thiện, mà phải ghi nhận cả những điều kiện mà tác động yếu hoặc bất lợi.
Giá trị của AI hỗ trợ siêu nhận thức không được xác lập chỉ bằng một nguyên tắc hấp dẫn. Chỉ khi kiểm nghiệm được khi nào, trong những nhiệm vụ nào và theo những thước đo nào khả năng xem xét lại tư duy của chính mình tạo ra sự cải thiện, chúng ta mới có thể kết nối các tuyên bố về thiết kế với những tác động thực nghiệm. Có một khoảng cách cần phải được đo lường giữa việc AI có vẻ như “khiến con người suy nghĩ” và việc phán đoán của con người thực sự được cải thiện. Tiến hành nghiên cứu trong khi vẫn giữ nguyên khoảng cách đó chính là sự thận trọng cần có đối với một thiết kế tuyên bố hỗ trợ sự hiểu biết.
Không phải câu trả lời. Mà là sự hiểu biết.