AI के साथ समस्या-समाधान में स्थानीय सुधार बहुत तेजी से आगे बढ़ सकते हैं। पाठ को छोटा करना, लागत घटाना, प्रसंस्करण समय कम करना या विकल्पों को क्रम देना जैसे लक्ष्य अपेक्षाकृत आसानी से स्पष्ट रूप से बताए जा सकते हैं और बार-बार अनुकूलित किए जा सकते हैं। फिर भी, किसी स्थानीय लक्ष्य में सुधार उच्च-स्तरीय उद्देश्य की ओर बढ़ने की गारंटी नहीं देता। यदि प्रारंभिक उद्देश्य “उपयोगकर्ता का बोझ कम करना” था, लेकिन मूल्यांकन धीरे-धीरे केवल “कार्रवाइयों की संख्या न्यूनतम करना” पर केंद्रित हो जाए, तो कार्रवाइयों की संख्या कम हो सकती है जबकि समझने की कठिनाई बढ़ सकती है।
इस समस्या का पता लगाने के लिए केवल उद्देश्य को संवाद की शुरुआत के एक वाक्य के रूप में सुरक्षित रखना पर्याप्त नहीं है। उच्च-स्तरीय उद्देश्य, वर्तमान प्रश्न, लागू बाधाएँ, मूल्यांकन मापदंड और उत्पन्न परिणाम को इस आधार पर अलग-अलग बनाए रखना आवश्यक है कि वे एक-दूसरे से किस प्रकार संबंधित हैं। वर्तमान प्रश्न उच्च-स्तरीय उद्देश्य के किस भाग को संबोधित करता है? क्या मूल्यांकन मापदंड उद्देश्य का वैध प्रतिनिधि है? क्या रास्ते में जोड़ी गई किसी बाधा ने उद्देश्य को बदल दिया है? उद्देश्य से विचलन किसी एक तत्व की त्रुटि के रूप में कम और तत्वों के बीच संबंधों में परिवर्तन के रूप में अधिक दिखाई देता है।
हालाँकि, प्रारंभिक उद्देश्य से हर दूरी को असामान्य नहीं माना जाना चाहिए। संवाद के दौरान नए तथ्य सामने आ सकते हैं और उपयोगकर्ता वैध रूप से उद्देश्य बदल सकता है। उदाहरण के लिए, कोई योजना “यथासंभव कम समय में यात्रा करना” उद्देश्य लेकर शुरू हो सकती है, लेकिन सुरक्षा संबंधी नई जानकारी मिलने के बाद “कुछ अधिक समय लगे तो भी सुरक्षा को प्राथमिकता देना” बन सकती है। इस स्थिति में प्रारंभिक उद्देश्य से अंतर तो है, लेकिन यह विफलता नहीं है; यह समझ के अद्यतन होने का परिणाम है।
इसलिए जिस चीज़ का पता लगाया जाना चाहिए, वह केवल अंतर नहीं बल्कि वह मार्ग है जिसके द्वारा उद्देश्य बदला। हमें यह अलग करना होगा कि परिवर्तन को स्पष्ट रूप से स्वीकृति मिली थी, नई जानकारी से उसका औचित्य सिद्ध हुआ था, या आसानी से मापे जा सकने वाले मापदंड का पीछा करते हुए वह चुपचाप प्रतिस्थापित हो गया था। AI पिछले संवाद से अंतर दिखा सकता है और बता सकता है, “मूल रूप से सुरक्षा एक शर्त थी, लेकिन वर्तमान तुलना में केवल लागत का उपयोग किया जा रहा है।” फिर भी, वह परिवर्तन स्वीकार्य है या नहीं, इसका निर्णय उपयोगकर्ता को करना है।
उद्देश्य से विचलन का पता लगाने वाली व्यवस्था के सामने झूठी चेतावनियों की समस्या भी होती है। मानव उद्देश्यों को हमेशा एक स्पष्ट वाक्य में व्यक्त नहीं किया जा सकता, और अनेक मूल्य आपसी तनाव में मौजूद हो सकते हैं। यदि AI शब्दों के हर छोटे अंतर को उद्देश्य में परिवर्तन मानकर चेतावनी दे, तो संवाद पुष्टि करने में ही उलझ जाएगा। यदि संवेदनशीलता बहुत कम हो, तो मूल्य-मानदंडों में महत्वपूर्ण परिवर्तन छूट सकते हैं। आवश्यकता शब्दों के मेल पर नहीं, बल्कि उन अंतरों पर ध्यान देने की है जो निर्णय के परिणाम को बदल सकते हैं।
कार्यान्वयन के सिद्धांत के रूप में, नियमित अंतराल पर उद्देश्य और साधनों के संबंध को उलटी दिशा में खोजना उपयोगी है। केवल यह पूछने के बजाय कि “क्या यह परिणाम वर्तमान प्रश्न का उत्तर देता है?”, हम वापस पूछते हैं, “यह प्रश्न किस उद्देश्य में योगदान देता है?” और “किस आधार पर यह अपेक्षा की जा सकती है कि इस मूल्यांकन मानदंड में सुधार से उच्च-स्तरीय उद्देश्य भी सुधरेगा?” यह उलटी जाँच परिणाम की गुणवत्ता के मूल्यांकन को उद्देश्य के अनुरूपता के मूल्यांकन से अलग करने देती है।
यहाँ मानव की मेटा-स्तरीय सोच और AI सहायता को जोड़ने की गुंजाइश है। मनुष्य उद्देश्यों के अर्थ और मूल्य की जिम्मेदारी लेते हैं, लेकिन लंबे संवाद में वे पहले की शर्तें भूल सकते हैं या सामने मौजूद संख्या उनका ध्यान खींच सकती है। AI इतिहास की तुलना करके और बदली हुई शर्तों को स्पष्ट रूप से सामने लाकर ऐसी चूकों की भरपाई में सहायता कर सकता है। साथ ही, AI स्वयं भी वर्तमान संदर्भ के अनुसार बहुत अधिक अनुकूलित होता है, इसलिए उद्देश्य को बनाए रखने की जिम्मेदारी पूरी तरह AI पर छोड़ देना आवश्यक रूप से पर्याप्त नहीं है। उद्देश्य की जाँच को एक अलग प्रक्रिया के रूप में डिज़ाइन करना आवश्यक है।
उद्देश्य से विचलन का पता लगाने की क्षमता AI की “वास्तविक उद्देश्य” जानने की क्षमता नहीं है। मानव उद्देश्य संवाद के माध्यम से बन सकते हैं, और परस्पर विरोधी उद्देश्य एक साथ मौजूद हो सकते हैं। इसलिए AI जो कर सकता है, वह घोषित उद्देश्यों, वर्तमान प्रश्नों, मूल्यांकन मानदंडों और परिणाम के बीच उत्पन्न असंगतियों को दिखाना और पुनर्विचार के लिए प्रेरित करना है। महत्वपूर्ण यह नहीं है कि उद्देश्य का अनुमान लगाकर उसे स्थिर कर दिया जाए, बल्कि यह है कि उद्देश्य के बदल जाने की संभावना को मानव परीक्षण के लिए उपलब्ध बनाया जाए।
इस दृष्टिकोण से, अधिक सक्षम AI उद्देश्य की जाँच को अनावश्यक नहीं बनाता। इसके विपरीत, स्थानीय अनुकूलन जितना तेज होता है और बड़े पैमाने पर जितने अधिक प्रभावशाली परिणाम उत्पन्न किए जा सकते हैं, दिशा से विचलन को पहचानना उतना ही कठिन हो सकता है। सुरक्षा के लिए AI की क्षमता को कमजोर करने के बजाय हमें एक और स्तर चाहिए जिसमें उस क्षमता की दिशा की जाँच की जा सके। डिज़ाइन को गति और दिशा-जाँच को विरोधी मानने के बजाय दोनों को एक चक्र में प्रवाहित करना चाहिए।
“किसलिए?” पूछना केवल प्रश्न पूछने की तकनीक नहीं है। जब मनुष्य और AI मिलकर खोज करते हैं, तो यह जाँचने की एक प्रक्रिया है कि वर्तमान प्रश्न अभी भी उच्च-स्तरीय उद्देश्य से जुड़ा है या नहीं। उद्देश्य, प्रश्न और परिणाम को केवल एक दिशा में बहने देने के बजाय हमें परिणाम से प्रश्न और प्रश्न से उद्देश्य तक वापस जाने का मार्ग चाहिए। उस चक्र के साथ AI न केवल तरीकों को तेज कर सकता है, बल्कि मनुष्यों को यह खोजने में भी सहायता कर सकता है कि कहीं तरीकों ने उद्देश्य को पीछे तो नहीं छोड़ दिया है।
उत्तर नहीं। समझ।