เมื่อเราขอให้ AI “แสดงข้อสมมติที่ฉันอาจมองข้าม” “เสนอความคิดเห็นที่คัดค้าน” หรือ “แยกประเด็นที่คุณไม่สามารถมั่นใจได้” เราจะได้ข้อมูลสำหรับพิจารณาการตัดสินอีกครั้งจากมุมมองที่ถอยออกมาหนึ่งขั้น ฟังก์ชันเช่นนี้สามารถคาดหวังได้ว่าจะช่วยสนับสนุนอภิปัญญา อย่างไรก็ตาม เพียงแค่อ่านหลายมุมมองหรือรู้สึกว่าตนเองระมัดระวังมากขึ้น ยังไม่สามารถยืนยันได้ว่าความสามารถในการตัดสินดีขึ้น หากจะประเมินเรื่องนี้ในฐานะงานวิจัย เราจำเป็นต้องกำหนดล่วงหน้าว่าการเปลี่ยนแปลงใดที่เกิดจากการสนับสนุนจึงจะนับว่าเป็น “การปรับปรุง”
ตัวชี้วัดหนึ่งคือการปรับเทียบ การปรับเทียบพิจารณาว่าความถูกต้องของการตัดสินสอดคล้องกับระดับความมั่นใจของบุคคลมากเพียงใด การมีความมั่นใจสูงเมื่อถูกต้องและสามารถลดความมั่นใจลงเมื่อผิด อาจเป็นสิ่งที่พึงประสงค์กว่าการมีความมั่นใจสูงเพียงอย่างเดียว หาก AI นำเสนอตัวอย่างโต้แย้งและความไม่แน่นอน แล้วผลที่เกิดขึ้นมีเพียงผู้ใช้สูญเสียความมั่นใจในทุกเรื่อง ก็ไม่จำเป็นต้องถือว่าเป็นการปรับปรุง สิ่งสำคัญคือระดับความมั่นใจสอดคล้องกับความหนักแน่นของหลักฐานได้เหมาะสมยิ่งขึ้นหรือไม่
ตัวชี้วัดที่สองคือการตรวจพบข้อผิดพลาด เราสามารถเปรียบเทียบได้ว่าผู้ใช้ที่ได้รับการสนับสนุนจาก AI สามารถค้นพบข้อสมมติที่ผิด ความขัดแย้ง และหลักฐานที่ไม่เพียงพอในเหตุผลของตนเองหรือในผลลัพธ์ของ AI ได้ดีเพียงใด อย่างไรก็ตาม หาก AI บอกโดยตรงว่าข้อผิดพลาดอยู่ตรงไหน ผลงานที่ดีขึ้นก็ไม่ใช่เรื่องน่าแปลกใจ ในการประเมินการสนับสนุนอภิปัญญา เราจำเป็นต้องแยกเงื่อนไขที่ให้คำตอบออกจากเงื่อนไขที่ให้เพียงมุมมองสำหรับการตรวจสอบ การดูว่าผู้ใช้สามารถตรวจพบข้อผิดพลาดในปัญหาอื่นหลังได้รับการสนับสนุนหรือไม่ ช่วยให้เราตรวจสอบความแตกต่างระหว่างการตัดสินที่ดีขึ้นกับการพึ่งพาคำตอบเพียงอย่างเดียว
ประเด็นที่สามคือการถ่ายโอน หากผู้ที่ได้รับการสนับสนุนให้ “ตรวจสอบข้อสมมติ” ในงานหนึ่ง ต่อมาเริ่มตรวจสอบข้อสมมติด้วยตนเองในอีกสาขาหนึ่ง การสนับสนุนนั้นก็ได้ก้าวพ้นการเพิ่มประสิทธิภาพของงานเพียงชั่วคราว ในทางกลับกัน หากพวกเขาระมัดระวังเฉพาะเมื่อมี AI และกลับไปใช้รูปแบบการตัดสินเดิมเมื่อไม่มีการสนับสนุน ระบบนั้นอาจทำหน้าที่เป็นเครื่องช่วยจากภายนอกมากกว่าการสร้างความสามารถ ไม่มีกรณีใดที่เลวร้ายโดยตัวมันเอง แต่ข้อกล่าวอ้างเกี่ยวกับผลควรแยกสองกรณีนี้ออกจากกัน
เวลาในการตัดสินใจก็ไม่อาจละเลยได้ การสนับสนุนอภิปัญญามักต้องการการตรวจสอบเพิ่มเติม หากความถูกต้องเพิ่มขึ้นเพียงเล็กน้อย แต่เวลาที่ใช้เพิ่มขึ้นอย่างมากในงานง่าย ๆ ที่มีความเสี่ยงต่ำ คุณค่าในทางปฏิบัติอาจมีจำกัด ในทางตรงกันข้าม สำหรับการตัดสินที่อาจเกิดความสูญเสียร้ายแรง เวลาที่เพิ่มขึ้นอาจยอมรับได้ ดังนั้น ผลจึงต้องได้รับการประเมินไม่เพียงจากความถูกต้อง แต่ต้องพิจารณาร่วมกับความเสี่ยงของงาน เวลา และภาระทางปัญญา
เราต้องตรวจสอบความเป็นไปได้ด้วยว่าการสนับสนุนอาจเพิ่มความมั่นใจเกินควร ข้อเท็จจริงที่ว่า “AI ตรวจสอบแม้กระทั่งมุมมองที่คัดค้านแล้ว” อาจทำให้ผู้ใช้รู้สึกมั่นใจมากเกินไป แม้ระบบจะนำเสนอหลายมุมมอง ข้อมูลพื้นฐานก็อาจผิด หรือมุมมองสำคัญบางอย่างอาจยังขาดหายไป หากการมีอยู่ของการสนับสนุนอภิปัญญาถูกมองว่าเป็นการรับประกันคุณภาพ ตัวฟังก์ชันสนับสนุนก็จะกลายเป็นอำนาจใหม่
ในทางกลับกัน คำเตือนที่มากเกินไปอาจทำให้ไม่สามารถตัดสินได้ หาก AI นำเสนอตัวอย่างโต้แย้ง ความไม่แน่นอน และเงื่อนไขเพิ่มเติมจำนวนมากทุกครั้ง ผู้ใช้อาจรู้สึกอยู่ตลอดว่า “เรายังตรวจสอบไม่เพียงพอ” ดังนั้น งานวิจัยจึงต้องปรับเปลี่ยนไม่เพียงการมีหรือไม่มีการสนับสนุน แต่รวมถึงความถี่และจังหวะของการแทรกแซงด้วย วิธีที่แทรกแซงเฉพาะเมื่อมีสัญญาณของข้อผิดพลาดอาจมีความสัมพันธ์ระหว่างความถูกต้องกับภาระต่างจากวิธีที่แทรกแซงอย่างต่อเนื่อง
เงื่อนไขสำหรับการเปรียบเทียบก็มีความสำคัญในการออกแบบการทดลอง การเปรียบเทียบเพียงระหว่างมีการสนับสนุนจาก AI กับไม่มีการสนับสนุน ทำให้ยากที่จะแยกผลของการได้รับข้อมูลมากขึ้นเพียงอย่างเดียวออกจากผลของการสนับสนุนอภิปัญญา เงื่อนไขที่ให้ข้อมูลเพิ่มเติมในปริมาณเท่ากัน ให้เฉพาะมุมมองที่คัดค้าน หรือให้ผู้เข้าร่วมระบุข้อสมมติด้วยตนเอง สามารถช่วยตรวจสอบได้ละเอียดขึ้นว่าการแทรกแซงแบบใดส่งผลต่ออะไร ผลยังอาจแตกต่างกันตามประเภทของงานและประสบการณ์ของผู้เข้าร่วม
เรายังต้องแยกผลการตัดสินในระยะสั้นออกจากการสร้างความสามารถในระยะยาว หาก AI ชดเชยจุดอ่อนในขณะนั้น ผลลัพธ์ทันทีอาจดีขึ้น แต่การใช้งานในระยะยาวจะเพิ่มความสามารถของผู้ใช้เองในการตรวจสอบการตัดสิน หรือกลับเพิ่มการพึ่งพาการสนับสนุนจากภายนอกนั้นเป็นอีกคำถามหนึ่ง ความแตกต่างนี้สามารถศึกษาได้โดยประเมินผู้ใช้ในเงื่อนไขที่ไม่มีการสนับสนุนหลังจากใช้งานต่อเนื่อง และวัดการถ่ายโอนไปยังงานที่แตกต่างกัน
เมื่อประเมินการออกแบบอย่าง Sai＊aus ซึ่งให้ความสำคัญกับการปรับปรุงความเข้าใจ การรายงานด้วยตนเองว่า “ผู้ใช้รู้สึกว่าตนเองคิดได้ลึกขึ้น” ยังไม่เพียงพอ เราจำเป็นต้องวัดว่าภายใต้เงื่อนไขใดการตรวจพบข้อผิดพลาดดีขึ้น การปรับเทียบความมั่นใจเปลี่ยนแปลงหรือไม่ การแก้ไขข้อสมมติถ่ายโอนไปยังงานอื่นหรือไม่ และความเป็นผู้กระทำในการตัดสินยังคงได้รับการรักษาไว้หรือไม่ ขณะเดียวกัน สิ่งสำคัญคือต้องไม่สมมติว่าจะเกิดการปรับปรุงในทุกสถานการณ์ แต่ต้องบันทึกเงื่อนไขที่ผลอ่อนหรือเป็นผลเสียด้วย
คุณค่าของ AI ที่สนับสนุนอภิปัญญาไม่ได้ถูกยืนยันด้วยหลักการที่น่าดึงดูดเพียงอย่างเดียว เราจะเชื่อมโยงข้อกล่าวอ้างด้านการออกแบบเข้ากับผลเชิงประจักษ์ได้ก็ต่อเมื่อทดสอบว่า ความสามารถในการทบทวนความคิดของตนเองสร้างการปรับปรุงเมื่อใด ในงานประเภทใด และตามตัวชี้วัดใด ระหว่างการที่ AI ดูเหมือนจะ “ทำให้ผู้คนคิด” กับการที่การตัดสินของมนุษย์ดีขึ้นจริง มีระยะห่างที่ต้องวัด การทำวิจัยโดยยังคงรักษาระยะห่างนั้นไว้ คือความระมัดระวังที่จำเป็นสำหรับการออกแบบที่อ้างว่าสนับสนุนความเข้าใจ
ไม่ใช่คำตอบ แต่คือความเข้าใจ