जब हम AI से कहते हैं, “वे मान्यताएँ दिखाओ जिन्हें मैं शायद नज़रअंदाज़ कर रहा हूँ”, “विरोधी दृष्टिकोण प्रस्तुत करो”, या “उन बिंदुओं को अलग करो जिनके बारे में तुम आश्वस्त नहीं हो सकते”, तो हमें निर्णय को उससे एक कदम बाहर से पुनः विचार करने के लिए सामग्री मिलती है। ऐसी कार्यक्षमताओं से मेटाकॉग्निशन का समर्थन करने की अपेक्षा की जा सकती है। फिर भी, केवल कई दृष्टिकोण पढ़ लेना या यह महसूस करना कि हम अधिक सावधान हो गए हैं, यह स्थापित नहीं करता कि निर्णय क्षमता बेहतर हुई है। यदि हम इसे शोध के रूप में मूल्यांकित करते हैं, तो हमें पहले से परिभाषित करना होगा कि समर्थन से उत्पन्न कौन-से परिवर्तन “सुधार” माने जाएँगे।
एक माप कैलिब्रेशन है। कैलिब्रेशन इस बात से संबंधित है कि किसी निर्णय की शुद्धता व्यक्ति के आत्मविश्वास के स्तर से कितनी निकटता से मेल खाती है। सही होने पर अधिक आत्मविश्वासी होना और गलत होने पर आत्मविश्वास कम कर पाना, केवल प्रबल आत्मविश्वास रखने की तुलना में अधिक वांछनीय हो सकता है। यदि AI प्रतिउदाहरण और अनिश्चितता प्रस्तुत करे और परिणाम केवल यह हो कि उपयोगकर्ता हर चीज़ में आत्मविश्वास खो दें, तो यह आवश्यक नहीं कि सुधार हो। महत्वपूर्ण यह है कि आत्मविश्वास साक्ष्य की मजबूती के साथ अधिक उपयुक्त रूप से मेल खाने लगे या नहीं।
दूसरा माप त्रुटि-पहचान है। हम तुलना कर सकते हैं कि AI समर्थन प्राप्त करने वाले उपयोगकर्ता अपने स्वयं के तर्क या AI के आउटपुट में गलत मान्यताओं, विरोधाभासों और अपर्याप्त साक्ष्य को कितनी अच्छी तरह पहचानते हैं। हालाँकि, यदि AI उन्हें सीधे बता दे कि त्रुटि कहाँ है, तो बेहतर प्रदर्शन आश्चर्यजनक नहीं है। मेटाकॉग्निशन के समर्थन का मूल्यांकन करने के लिए हमें उन परिस्थितियों को अलग करना होगा जिनमें उत्तर दिया जाता है और उन परिस्थितियों को जिनमें केवल जाँच के लिए दृष्टिकोण दिए जाते हैं। यह देखकर कि समर्थन प्राप्त करने के बाद उपयोगकर्ता अलग समस्याओं में भी त्रुटियाँ पहचान सकते हैं या नहीं, हम बेहतर निर्णय और केवल उत्तरों पर निर्भरता के बीच अंतर की जाँच कर सकते हैं।
तीसरा मुद्दा स्थानांतरण है। यदि किसी एक कार्य में “मान्यताओं की जाँच” करने का समर्थन पाने वाले लोग बाद में किसी अन्य क्षेत्र में भी स्वतः मान्यताओं की जाँच करने लगते हैं, तो समर्थन कार्य-प्रदर्शन में अस्थायी सुधार से आगे बढ़ चुका है। इसके विपरीत, यदि वे केवल AI की उपस्थिति में सावधान होते हैं और समर्थन हटने पर अपनी पिछली निर्णय-शैली में लौट जाते हैं, तो प्रणाली क्षमता-निर्माण की अपेक्षा बाहरी सहायता के रूप में अधिक कार्य कर रही हो सकती है। इनमें से कोई भी अपने-आप में बुरा नहीं है, लेकिन प्रभाव के बारे में दावों में दोनों के बीच अंतर किया जाना चाहिए।
निर्णय में लगने वाले समय को भी नज़रअंदाज़ नहीं किया जा सकता। मेटाकॉग्निशन का समर्थन अक्सर अतिरिक्त जाँच की माँग करता है। यदि सरल, कम जोखिम वाले कार्यों में शुद्धता केवल थोड़ी बढ़ती है जबकि समय बहुत अधिक बढ़ जाता है, तो इसका व्यावहारिक मूल्य सीमित हो सकता है। इसके विपरीत, ऐसे निर्णयों में जहाँ गंभीर हानि संभव है, अतिरिक्त समय स्वीकार्य हो सकता है। इसलिए प्रभावों का मूल्यांकन केवल शुद्धता से नहीं, बल्कि कार्य के जोखिम, समय और संज्ञानात्मक भार के संयोजन में किया जाना चाहिए।
हमें इस संभावना की भी जाँच करनी चाहिए कि समर्थन अतिआत्मविश्वास बढ़ाता है। यह तथ्य कि “AI ने विरोधी दृष्टिकोणों की भी जाँच की” उपयोगकर्ताओं को अत्यधिक आश्वस्त कर सकता है। भले ही कोई प्रणाली कई दृष्टिकोण प्रस्तुत करे, आधारभूत जानकारी गलत हो सकती है या महत्वपूर्ण दृष्टिकोण फिर भी छूट सकते हैं। यदि मेटाकॉग्निटिव समर्थन के अस्तित्व को ही गुणवत्ता की गारंटी मान लिया जाए, तो समर्थन की यह कार्यक्षमता एक नया प्राधिकार बन जाती है।
इसके विपरीत, अत्यधिक चेतावनियाँ निर्णय लेना असंभव बना सकती हैं। यदि AI हर बार अनेक प्रतिउदाहरण, अनिश्चितताएँ और अतिरिक्त शर्तें प्रस्तुत करे, तो उपयोगकर्ता लगातार महसूस कर सकते हैं कि “हमने अभी पर्याप्त जाँच नहीं की है।” इसलिए शोध में केवल समर्थन की उपस्थिति या अनुपस्थिति ही नहीं, बल्कि हस्तक्षेप की आवृत्ति और समय भी बदले जाने चाहिए। केवल त्रुटि के संकेत मिलने पर हस्तक्षेप करने वाली विधि में शुद्धता और भार का संबंध लगातार हस्तक्षेप करने वाली विधि से अलग हो सकता है।
प्रयोगात्मक डिज़ाइन में तुलना की परिस्थितियाँ भी महत्वपूर्ण हैं। केवल AI समर्थन और बिना समर्थन की तुलना करने से, केवल अधिक जानकारी मिलने के प्रभाव को मेटाकॉग्निटिव समर्थन के प्रभाव से अलग करना कठिन हो जाता है। समान मात्रा में अतिरिक्त जानकारी देने वाली, केवल विरोधी दृष्टिकोण देने वाली, या प्रतिभागियों से स्वयं मान्यताओं की सूची बनवाने वाली परिस्थितियाँ यह अधिक विस्तार से जाँचने में मदद कर सकती हैं कि कौन-सा हस्तक्षेप किस चीज़ को प्रभावित करता है। प्रभाव कार्य के प्रकार और प्रतिभागियों के अनुभव के अनुसार भी भिन्न हो सकते हैं।
हमें अल्पकालिक निर्णय-प्रदर्शन और दीर्घकालिक क्षमता-निर्माण के बीच भी अंतर करना होगा। यदि AI उस क्षण किसी कमजोरी की भरपाई करता है, तो तत्काल परिणाम बेहतर हो सकते हैं। लेकिन दीर्घकालिक उपयोग उपयोगकर्ताओं की स्वयं निर्णयों की जाँच करने की क्षमता बढ़ाता है या इसके बजाय बाहरी समर्थन पर निर्भरता बढ़ाता है, यह एक अलग प्रश्न है। लंबे समय तक उपयोग के बाद बिना समर्थन की परिस्थिति में उपयोगकर्ताओं का मूल्यांकन करके और अलग कार्यों में स्थानांतरण को मापकर इस अंतर का अध्ययन किया जा सकता है।
Sai＊aus जैसे ऐसे डिज़ाइन का मूल्यांकन करते समय, जो समझ के अद्यतन पर ज़ोर देता है, यह आत्म-रिपोर्ट कि “उपयोगकर्ता को लगा कि उसने अधिक गहराई से सोचा” पर्याप्त नहीं है। हमें मापना होगा कि किन परिस्थितियों में त्रुटि-पहचान बेहतर हुई, क्या आत्मविश्वास का कैलिब्रेशन बदला, क्या मान्यताओं का संशोधन अन्य कार्यों में स्थानांतरित हुआ, और क्या निर्णय में कर्तृत्व बना रहा। साथ ही, यह मान लेना महत्वपूर्ण नहीं है कि हर परिस्थिति में सुधार होगा; उन परिस्थितियों को भी दर्ज करना आवश्यक है जिनमें प्रभाव कमजोर या प्रतिकूल हों।
मेटाकॉग्निशन का समर्थन करने वाले AI का मूल्य केवल किसी आकर्षक सिद्धांत से स्थापित नहीं होता। केवल यह जाँचकर कि कब, किन कार्यों में और किन मापों के अनुसार अपने ही विचार पर पुनर्विचार करने की क्षमता सुधार उत्पन्न करती है, डिज़ाइन संबंधी दावों को अनुभवजन्य प्रभावों से जोड़ा जा सकता है। AI के “लोगों को सोचने पर मजबूर करने” जैसा दिखाई देने और मानव निर्णय के वास्तव में बेहतर होने के बीच एक दूरी है जिसे मापा जाना चाहिए। उस दूरी को बनाए रखते हुए शोध करना ही उस डिज़ाइन के लिए आवश्यक सावधानी है जो समझ का समर्थन करने का दावा करता है।
उत्तर नहीं। समझ।