在使用AI解决问题时,局部改进可以非常迅速地推进。缩短文本、降低成本、减少处理时间或对候选项排序等目标,相对容易被明确表达,也可以反复优化。然而,局部目标的改善并不能保证向更高层目的靠近。如果最初的目的是“减轻用户负担”,但评估逐渐只关注“将操作次数降到最低”,那么操作次数可能减少,而理解难度却可能增加。
要检测这一问题,仅仅把目的作为对话开头的一句话保存下来是不够的。需要将更高层目的、当前问题、现行约束、评估指标和生成的输出区分开来,并保持它们彼此之间的关系。当前问题处理的是更高层目的的哪一部分?评估指标是否是目的的有效代理?过程中新增的约束是否改变了目的?目的偏移与其说表现为某个单独要素的错误,不如说表现为要素之间关系的变化。
不过,并非所有偏离初始目的的情况都应被判定为异常。对话过程中可能出现新的事实,用户也可能合理地改变目的。例如,一项计划可能以“用尽可能短的时间出行”为目的开始,但在了解到新的安全信息后,转变为“即使多花一些时间,也要优先考虑安全”。在这种情况下,虽然与初始目的存在差异,但这并不是失败,而是理解更新的结果。
因此,应当检测的不是简单的差异,而是目的发生变化的路径。需要区分这种变化是经过明确同意、由新信息所正当化,还是在追求易于测量的指标时被悄然替换。AI可以展示与此前对话的差异,并指出:“安全性原本是一项条件,但当前的比较只使用了成本。”然而,这种变化是否可以接受,仍应由用户判断。
检测目的偏移的机制还面临误报问题。人的目的并不总能用一句清晰的话表达,多个价值也可能处于彼此张力之中。如果AI把每一点措辞差异都作为目的变化发出警告,对话就会被反复确认所主导。反之,如果敏感度过低,又可能遗漏价值标准的重要变化。所需要的不是关注词语是否一致,而是关注那些可能改变判断结果的差异。
作为一种实现原则,定期反向追溯目的与手段之间的关系是有用的。不仅要问“这个输出是否回答了当前问题?”,还要回到“这个问题有助于实现哪个目的?”以及“有什么依据可以支持这样的预期:改善这一评估标准,也会改善更高层目的?”这种反向检查可以将输出质量的评估与是否符合目的的评估区分开来。
这里存在将人的元层级思考与AI支持连接起来的空间。人承担目的的意义和价值,但在漫长的对话中,可能会忘记此前的条件,或被眼前的数字吸引注意力。AI可以通过比较历史记录并将变化的条件外显出来,帮助弥补这种疏漏。与此同时,AI自身也会强烈适应当前语境,因此,把目的的保持完全交给AI并不一定充分。目的检查需要被设计为一种独立的操作。
检测目的偏移的能力,并不等于AI拥有知道“真正目的”的能力。人的目的可能在对话中形成,相互冲突的目的也可能同时存在。因此,AI能够做的是展示已声明的目的、当前问题、评估标准和输出之间出现的不一致,并促使人重新审视。重要的不是推断并固定目的,而是让“目的可能已经发生变化”这一可能性以可供人审视的形式呈现出来。
从这个角度看,能力更强的AI并不会让目的检查变得不再必要。恰恰相反,局部优化越快、越能大规模生成具有说服力的输出,方向上的偏移就越难被察觉。与其为了安全而削弱AI的能力,不如设置另一个层级,使这种能力所指向的方向能够被检查。设计上应让速度与方向检查形成循环,而不是把二者视为对立关系。
追问“为了什么?”并不仅仅是一种提问技巧。当人和AI共同探索时,它是一种用于检查当前问题是否仍与更高层目的相连接的操作。不能只让目的、问题和输出单向流动,还需要拥有从输出返回问题、再从问题返回目的的路径。有了这种循环,AI不仅能够加快方法,也能支持人发现方法是否已经把目的抛在了后面。
不是答案,而是理解。