जब उद्देश्य स्पष्ट हो, तब अनुकूलन शक्तिशाली होता है। एक बार शर्तें तय हो जाएँ—यात्रा का समय कम करना, लागत घटाना, या गुणवत्ता का एक निश्चित स्तर बनाए रखते हुए काम का बोझ कम करना—तो AI अनेक विकल्पों की तुलना कर सकता है। लेकिन महत्वपूर्ण मानवीय निर्णयों में उद्देश्य स्वयं एकल या निश्चित नहीं हो सकता। कोई व्यक्ति आय बढ़ाना चाहता हो और साथ ही परिवार के साथ समय को सुरक्षित रखना चाहता हो, या विकास करना चाहता हो लेकिन अपने स्वास्थ्य पर बोझ नहीं बढ़ाना चाहता हो। ऐसी स्थितियों में अनुकूलन शुरू होने से पहले मूल्यों के बीच संबंध पर विचार करना आवश्यक है।
समस्या कई मूल्यों को संख्याओं में बदलने की क्रिया में नहीं है। तुलना के लिए भार निर्धारित करना उपयोगी हो सकता है। लेकिन जब यह अस्पष्ट हो जाए कि वे भार किसने और क्यों निर्धारित किए, तो उद्देश्य का निर्माण मात्र एक गणनात्मक शर्त में बदल जाता है। उदाहरण के लिए, यदि शुरुआत से ही ऐसी व्यवस्था दी जाए जिसमें आय को बहुत अधिक महत्व दिया गया हो, तो AI उस शर्त के अंतर्गत सुसंगत सिफारिशें दे सकता है। फिर भी, क्या वह व्यक्ति वास्तव में आय को बाकी सभी चीजों से ऊपर रखना चाहता है, यह गणना की शुद्धता से निष्कर्षित नहीं किया जा सकता।
सीमित मनुष्यों के लिए यह अंतर महत्वपूर्ण है। यदि गलत उद्देश्य निर्धारित करने के बाद हम जीवन को बार-बार शुरू से आरंभ कर सकते, तो शायद बाद में हम उस भार-विन्यास को चुन सकते जो सबसे अच्छा परिणाम देता। लेकिन वास्तविकता में, किसी चुनाव के कारण खर्च हुआ कुछ समय और खोए हुए कुछ अवसर वापस नहीं आते। इसलिए “क्या अनुकूलित किया जाना चाहिए?” केवल एक तकनीकी पूर्व-प्रसंस्करण चरण नहीं है; यह उस निर्णय का हिस्सा है कि कोई व्यक्ति अपने सीमित समय का उपयोग किस लिए करेगा।
चिंतन के समर्थन के रूप में AI उद्देश्य को स्वयं तय करने के बजाय उसके भीतर के टकरावों को दृश्य बना सकता है। वह दिखा सकता है कि किसी एक मूल्य को प्राथमिकता देने पर क्या बदलता है और किसी दूसरे मूल्य को अधिक भार देने पर विकल्पों की क्रम-व्यवस्था कैसे बदलती है। प्रश्नों के माध्यम से वह यह भी जाँच सकता है कि जो सतह पर एक ही उद्देश्य दिखाई देता है, उसमें वास्तव में कई इच्छाएँ तो शामिल नहीं हैं। ऐसी तुलनाएँ किसी व्यक्ति को यह समझने में मदद कर सकती हैं कि वह क्या चुनने की कोशिश कर रहा है, इससे पहले कि समस्या को एक ही सर्वोत्तम विकल्प तक सीमित कर दिया जाए।
यहाँ प्रश्न पूछना स्वयं में उद्देश्य नहीं बनना चाहिए। यदि उद्देश्य स्पष्ट है और चुनाव को आसानी से पलटा जा सकता है, तो हर बार रुकना सहायता को उलटे बोझिल बना देगा। महत्वपूर्ण यह पहचानना है कि किन स्थितियों में उद्देश्य की अस्पष्टता निष्कर्ष को बदल सकती है, कई मूल्य आपस में टकराते हैं, या चुनाव अत्यधिक अपरिवर्तनीय है। प्रश्न गति का विरोध नहीं है; यह तब आवश्यक साधन है जब उद्देश्य अभी ऐसी चीज़ के रूप में निर्मित नहीं हुआ है जिसे मनुष्य अपना मान सके।
Sai＊aus के लिए अनुकूलन और समझ यहीं मिलते हैं। यदि AI कोई उत्कृष्ट साधन खोज भी ले, तो उच्च दक्षता अनिवार्य रूप से वांछनीय परिणाम का संकेत नहीं देती, यदि मनुष्य उस उद्देश्य को नहीं समझता जिसकी ओर वह साधन निर्देशित है। इसलिए साधनों की तुलना करने वाले स्तर और क्या महत्वपूर्ण है इसकी जाँच करने वाले स्तर को आपस में नहीं मिलाना चाहिए। AI की क्षमताओं को उद्देश्यों के निर्माण की सामग्री के रूप में इस्तेमाल किया जा सकता है, साथ ही ऐसी संरचना बनाए रखी जा सकती है जिसमें मनुष्य मूल्यों को दी गई प्राथमिकता की जिम्मेदारी ले सकें।
अनुकूलन से पहले “क्या महत्वपूर्ण है” तय करने का अर्थ यह नहीं है कि व्यक्ति को हमेशा अकेले और अलग-थलग होकर सोचना चाहिए। लोग दूसरों के साथ संबंधों और सामाजिक जिम्मेदारियों के भीतर मूल्यों का निर्माण करते हैं। AI भी उस विचार-विमर्श में सहायता कर सकता है। फिर भी, जो चीज़ गणना योग्य हो गई है, वह अनिवार्य रूप से ऐसी चीज़ नहीं है जिसे सौंप दिया जाना चाहिए। चिंतन का समर्थन ऐसी स्थिति बनाए रखे जिसमें सीमित कर्ता समझ सकें कि उनके चुनाव किसे प्राथमिकता देते हैं और वे किसे छोड़ते हैं, और फिर मानवीय निर्णय को मिटाए बिना अनुकूलन का उपयोग कर सकें।
उत्तर नहीं। समझ।