在使用AI解決問題時,局部改進可以非常迅速地推進。縮短文字、降低成本、減少處理時間或對候選項排序等目標,相對容易被明確表達,也可以反覆優化。然而,局部目標的改善並不能保證向更高層目的靠近。如果最初的目的是「減輕使用者負擔」,但評估逐漸只關注「將操作次數降到最低」,那麼操作次數可能減少,而理解難度卻可能增加。
要檢測這一問題,僅僅把目的作為對話開頭的一句話保存下來是不夠的。需要將更高層目的、目前問題、現行約束、評估指標和生成的輸出區分開來,並保持它們彼此之間的關係。目前問題處理的是更高層目的的哪一部分?評估指標是否是目的的有效代理?過程中新增的約束是否改變了目的?目的偏移與其說表現為某個單獨要素的錯誤,不如說表現為要素之間關係的變化。
不過,並非所有偏離初始目的的情況都應被判定為異常。對話過程中可能出現新的事實,使用者也可能合理地改變目的。例如,一項計畫可能以「用盡可能短的時間出行」為目的開始,但在了解到新的安全資訊後,轉變為「即使多花一些時間,也要優先考慮安全」。在這種情況下,雖然與初始目的存在差異,但這並不是失敗,而是理解更新的結果。
因此,應當檢測的不是簡單的差異,而是目的發生變化的路徑。需要區分這種變化是經過明確同意、由新資訊所正當化,還是在追求易於測量的指標時被悄然替換。AI可以展示與此前對話的差異,並指出:「安全性原本是一項條件,但目前的比較只使用了成本。」然而,這種變化是否可以接受,仍應由使用者判斷。
檢測目的偏移的機制還面臨誤報問題。人的目的並不總能用一句清晰的話表達,多個價值也可能處於彼此張力之中。如果AI把每一點措辭差異都作為目的變化發出警告,對話就會被反覆確認所主導。反之,如果敏感度過低,又可能遺漏價值標準的重要變化。所需要的不是關注詞語是否一致,而是關注那些可能改變判斷結果的差異。
作為一種實作原則,定期反向追溯目的與手段之間的關係是有用的。不僅要問「這個輸出是否回答了目前問題?」,還要回到「這個問題有助於實現哪個目的?」以及「有什麼依據可以支持這樣的預期:改善這一評估標準,也會改善更高層目的?」這種反向檢查可以將輸出品質的評估與是否符合目的的評估區分開來。
這裡存在將人的後設層級思考與AI支援連接起來的空間。人承擔目的的意義和價值,但在漫長的對話中,可能會忘記此前的條件,或被眼前的數字吸引注意力。AI可以透過比較歷史記錄並將變化的條件外顯出來,幫助彌補這種疏漏。與此同時,AI自身也會強烈適應目前語境,因此,把目的的保持完全交給AI並不一定充分。目的檢查需要被設計為一種獨立的操作。
檢測目的偏移的能力,並不等於AI擁有知道「真正目的」的能力。人的目的可能在對話中形成,相互衝突的目的也可能同時存在。因此,AI能夠做的是展示已聲明的目的、目前問題、評估標準和輸出之間出現的不一致,並促使人重新審視。重要的不是推斷並固定目的,而是讓「目的可能已經發生變化」這一可能性以可供人審視的形式呈現出來。
從這個角度看,能力更強的AI並不會讓目的檢查變得不再必要。恰恰相反,局部優化越快、越能大規模生成具有說服力的輸出,方向上的偏移就越難被察覺。與其為了安全而削弱AI的能力,不如設置另一個層級,使這種能力所指向的方向能夠被檢查。設計上應讓速度與方向檢查形成循環,而不是把二者視為對立關係。
追問「為了什麼?」並不僅僅是一種提問技巧。當人和AI共同探索時,它是一種用於檢查目前問題是否仍與更高層目的相連接的操作。不能只讓目的、問題和輸出單向流動,還需要擁有從輸出返回問題、再從問題返回目的的路徑。有了這種循環,AI不僅能夠加快方法,也能支援人發現方法是否已經把目的拋在了後面。
不是答案,而是理解。