عندما نطلب من الذكاء الاصطناعي أن «يُظهر الافتراضات التي قد أغفلها»، أو «يقدّم آراءً معارضة»، أو «يفصل النقاط التي لا يستطيع أن يكون واثقاً منها»، نحصل على مادة تتيح لنا إعادة النظر في الحكم من موقع خارجي عنه بخطوة. ويمكن توقّع أن تدعم مثل هذه الوظائف ما وراء المعرفة. ومع ذلك، فإن مجرد قراءة وجهات نظر كثيرة أو الشعور بأننا أصبحنا أكثر حذراً لا يثبت أن القدرة على الحكم قد تحسنت. وإذا أردنا تقييم ذلك بوصفه بحثاً، فعلينا أن نحدد مسبقاً ما التغييرات الناتجة عن الدعم التي ستُعد «تحسناً».
أحد المقاييس هو المعايرة. وتتعلق المعايرة بمدى توافق دقة الحكم مع مستوى ثقة الشخص. فقد يكون من الأفضل أن تكون الثقة مرتفعة عند الصواب وأن يكون الشخص قادراً على خفضها عند الخطأ، بدلاً من مجرد امتلاك ثقة قوية. وإذا عرض الذكاء الاصطناعي أمثلة مضادة وعدم يقين ولم تكن النتيجة سوى فقدان المستخدمين الثقة في كل شيء، فليس ذلك بالضرورة تحسناً. المهم هو ما إذا أصبحت الثقة تتوافق بصورة أنسب مع قوة الأدلة.
المقياس الثاني هو اكتشاف الأخطاء. يمكننا مقارنة مدى قدرة المستخدمين الذين يتلقون دعماً من الذكاء الاصطناعي على اكتشاف الافتراضات الخاطئة والتناقضات والأدلة غير الكافية في استدلالهم أو في مخرجات الذكاء الاصطناعي. غير أنه إذا أخبرهم الذكاء الاصطناعي مباشرة بمكان الخطأ، فلن يكون تحسن الأداء مفاجئاً. ولتقييم دعم ما وراء المعرفة، علينا الفصل بين الظروف التي تُقدَّم فيها الإجابة والظروف التي لا تُقدَّم فيها إلا وجهات نظر تساعد على الفحص. ومن خلال معرفة ما إذا كان المستخدمون قادرين على اكتشاف الأخطاء في مسائل مختلفة بعد تلقي الدعم، يمكننا دراسة الفرق بين تحسن الحكم ومجرد الاعتماد على الإجابات.
المسألة الثالثة هي الانتقال. فإذا بدأ الأشخاص الذين تلقوا في مهمة ما دعماً من أجل «فحص الافتراضات» لاحقاً في فحص الافتراضات تلقائياً في مجال آخر، يكون الدعم قد تجاوز التحسن المؤقت في أداء المهمة. وعلى العكس، إذا أصبحوا حذرين فقط عند وجود الذكاء الاصطناعي ثم عادوا إلى أسلوبهم السابق في الحكم عند اختفاء الدعم، فقد يكون النظام يعمل بوصفه عوناً خارجياً أكثر من كونه وسيلة لتكوين القدرة. ولا يُعد أي من الأمرين سيئاً في ذاته، لكن الادعاءات المتعلقة بالأثر ينبغي أن تميّز بينهما.
ولا يمكن تجاهل وقت اتخاذ القرار أيضاً. فدعم ما وراء المعرفة يتطلب في كثير من الأحيان عمليات فحص إضافية. وإذا لم تتحسن الدقة إلا قليلاً بينما ازداد الوقت بدرجة كبيرة في المهام البسيطة منخفضة المخاطر، فقد تكون قيمته العملية محدودة. أما في القرارات التي يمكن أن تترتب عليها خسائر جسيمة، فقد يكون الوقت الإضافي مقبولاً. لذلك ينبغي تقييم الآثار ليس وفق الدقة وحدها، بل بالاقتران مع مخاطر المهمة والوقت والعبء المعرفي.
وعلينا أيضاً فحص احتمال أن يزيد الدعم الثقة المفرطة. فحقيقة أن «الذكاء الاصطناعي فحص حتى الآراء المعارضة» قد تمنح المستخدمين طمأنينة مفرطة. وحتى عندما يعرض النظام وجهات نظر متعددة، قد تكون المعلومات الأساسية خاطئة أو قد تظل بعض وجهات النظر المهمة مفقودة. وإذا اعتُبر وجود دعم ما وراء المعرفة في حد ذاته ضماناً للجودة، فإن وظيفة الدعم تصبح سلطة جديدة.
وعلى العكس، قد تجعل التحذيرات المفرطة إصدار الحكم مستحيلاً. فإذا عرض الذكاء الاصطناعي في كل مرة عدداً كبيراً من الأمثلة المضادة وأوجه عدم اليقين والشروط الإضافية، فقد يشعر المستخدمون باستمرار بأن «ما فحصناه لا يزال غير كافٍ». ولذلك يحتاج البحث إلى تغيير ليس فقط وجود الدعم أو غيابه، بل أيضاً وتيرة التدخل وتوقيته. وقد تكون العلاقة بين الدقة والعبء في طريقة لا تتدخل إلا عند وجود مؤشرات على الخطأ مختلفة عن تلك الموجودة في طريقة تتدخل باستمرار.
كما أن شروط المقارنة مهمة في تصميم التجربة. فمقارنة وجود دعم الذكاء الاصطناعي بعدمه وحدها تجعل من الصعب فصل أثر مجرد تلقي معلومات أكثر عن أثر دعم ما وراء المعرفة. ويمكن للظروف التي تقدم المقدار نفسه من المعلومات الإضافية، أو تقدم الآراء المعارضة فقط، أو تطلب من المشاركين أن يسردوا الافتراضات بأنفسهم، أن تساعد على فحص أي تدخل يؤثر في ماذا بمزيد من التفصيل. وقد تختلف الآثار أيضاً باختلاف نوع المهمة وخبرة المشاركين.
ونحتاج أيضاً إلى التمييز بين أداء الحكم على المدى القصير وتكوين القدرة على المدى الطويل. فإذا عوّض الذكاء الاصطناعي ضعفاً ما في اللحظة نفسها، فقد تتحسن النتائج الفورية. لكن ما إذا كان الاستخدام طويل الأمد يزيد قدرة المستخدمين أنفسهم على فحص الأحكام، أو يزيد بدلاً من ذلك اعتمادهم على الدعم الخارجي، فهو سؤال مختلف. ويمكن دراسة هذا الفرق من خلال تقييم المستخدمين من دون دعم بعد الاستخدام المستمر، ومن خلال قياس الانتقال إلى مهام مختلفة.
وعند تقييم تصميم مثل Sai＊aus يركز على تحديث الفهم، لا يكفي التقرير الذاتي بأن «المستخدم شعر بأنه فكّر بعمق أكبر». بل نحتاج إلى قياس الظروف التي تحسن فيها اكتشاف الأخطاء، وما إذا تغيرت معايرة الثقة، وما إذا انتقلت مراجعة الافتراضات إلى مهام أخرى، وما إذا حوفظ على فاعلية الشخص في الحكم. وفي الوقت نفسه، من المهم ألا نفترض حدوث تحسن في كل موقف، بل أن نسجل أيضاً الظروف التي تكون فيها الآثار ضعيفة أو سلبية.
لا تتحدد قيمة الذكاء الاصطناعي الداعم لما وراء المعرفة بمجرد مبدأ جذاب. فلا يمكن ربط ادعاءات التصميم بالآثار التجريبية إلا باختبار متى، وفي أي مهام، ووفق أي مقاييس تؤدي القدرة على إعادة النظر في تفكير المرء إلى تحسن. وهناك مسافة يجب قياسها بين أن يبدو الذكاء الاصطناعي وكأنه «يجعل الناس يفكرون» وبين أن يتحسن الحكم البشري فعلياً. وإجراء البحث مع الحفاظ على هذه المسافة هو الحذر المطلوب من تصميم يدّعي دعم الفهم.
ليست إجابات. بل فهم.