AIを使った問題解決では、局所的な改善が非常に速く進みます。文章を短くする、費用を下げる、処理時間を減らす、候補を順位づけるといった目標は、比較的明示しやすく、反復的に最適化できます。しかし、局所目標の改善が上位目的への接近を保証するわけではありません。初期目的が「利用者の負担を減らす」だったのに、途中から「操作回数を最小化する」ことだけが評価されれば、操作は減っても理解しにくさが増える可能性があります。
この問題を検出するには、目的を単なる冒頭の文章として保存するだけでは不十分です。上位目的、現在の問い、採用中の制約、評価指標、生成された出力が、どの関係にあるかを区別して保持する必要があります。現在の問いが上位目的のどの部分を扱っているのか、評価指標は目的の代理として妥当なのか、途中で追加された制約が目的を変質させていないか。目的のずれは、個々の要素の誤りより、要素間の関係変化として現れるからです。
ただし、初期目的から離れたことをすべて異常と判定してはいけません。対話によって新しい事実が分かり、利用者が目的を正当に変更することがあります。たとえば「最短時間で移動する」という目的で計画を始めても、安全上の新情報を得て「多少時間がかかっても安全性を優先する」へ変更することは合理的です。この場合、初期目的との差は存在しますが、それは失敗ではなく理解更新の結果です。
したがって、検出すべきなのは単純な差ではなく、目的変更の経路です。変更が明示的に承認されたのか、新しい情報によって正当化されたのか、それとも測定しやすい指標を追ううちに暗黙に置き換わったのかを区別する必要があります。AIは過去の対話との差分を示し、「当初は安全性を条件としていましたが、現在の比較では費用だけが使われています」と指摘できます。しかし、その変化を許容するかどうかは利用者の判断です。
目的のずれを検出する仕組みには、誤警報の問題もあります。人間の目的は常に明確な一文で表せるわけではなく、複数の価値が緊張関係を持つこともあります。AIが少しの表現差をすべて目的変更として警告すれば、対話は確認ばかりになります。逆に感度が低すぎれば、重要な価値基準の変化を見逃します。必要なのは、語句の一致ではなく、判断結果を変え得る差に重点を置くことです。
実装上の考え方としては、目的と手段の関係を定期的に逆向きにたどることが有効です。「この出力は現在の問いに答えているか」だけでなく、「この問いはどの目的に寄与するのか」「この評価基準が改善したとき、上位目的も改善すると期待できる根拠は何か」と戻ります。この逆向きの確認によって、出力の品質評価と目的適合性の評価を分離できます。
ここには、人間のメタ思考とAIの支援が接続する余地があります。人間は目的の意味や価値を引き受けますが、長い対話の中で以前の条件を忘れたり、目の前の数値に注意を奪われたりします。AIは履歴を比較し、変化した条件を外部化することで、その見落としを補助できます。一方、AI自身も現在の文脈に強く適応するため、目的の保持をAI任せにすれば十分だとは限りません。目的確認を独立した操作として設計する必要があります。
目的のずれを検出する能力は、AIが「本当の目的」を知る能力ではありません。人間の目的は対話を通じて形成されることもあり、相反する目的が同時に存在することもあります。したがって、AIができるのは、宣言された目的、現在の問い、評価基準、出力の間に生じた不整合を示し、再確認を促すところまでです。目的を推定して固定することではなく、目的が変化した可能性を人間が検討できる形にすることが重要です。
この観点から見ると、高性能なAIほど目的確認が不要になるわけではありません。むしろ局所最適化が速く、説得力のある出力を大量に生成できるほど、方向のずれも見えにくくなります。AIの能力を安全に弱めるのではなく、能力が向かっている方向を検討できる別の層を持つことが必要です。速さと方向確認を対立させず、両方を循環させる設計が求められます。
「何のために」を問うことは、単なる質問技法ではありません。人間とAIが共同で探索するとき、現在の問いが上位目的とまだ接続しているかを確認するための操作です。目的、問い、出力を一方向に流すだけでなく、出力から問いへ、問いから目的へ戻る経路を持つ。その循環があれば、AIは方法を高速化するだけでなく、方法が目的を置き去りにしていないかを人間が発見するための支援にもなります。
答えではなく、理解を。