AI를 활용한 문제 해결에서는 국소적인 개선이 매우 빠르게 진행될 수 있습니다. 글을 짧게 만들기, 비용을 낮추기, 처리 시간을 줄이기, 후보의 순위를 매기기 같은 목표는 비교적 명시하기 쉽고 반복적으로 최적화할 수 있습니다. 그러나 국소 목표의 개선이 상위 목적을 향한 진전을 보장하는 것은 아닙니다. 초기 목적이 ‘사용자의 부담을 줄이는 것’이었는데 평가가 점차 ‘조작 횟수를 최소화하는 것’에만 집중한다면, 조작 횟수는 줄어들어도 이해의 어려움은 커질 수 있습니다.
이 문제를 감지하려면 목적을 단지 대화 시작 시점의 한 문장으로 보존하는 것만으로는 충분하지 않습니다. 상위 목적, 현재 질문, 적용 중인 제약, 평가 지표, 생성된 출력을 서로 어떤 관계에 있는지 구분하여 유지해야 합니다. 현재 질문은 상위 목적의 어느 부분을 다루고 있는가? 평가 지표는 목적을 대신하는 타당한 지표인가? 도중에 추가된 제약이 목적을 변질시키지는 않았는가? 목적의 이탈은 개별 요소 하나의 오류라기보다 요소들 사이의 관계 변화로 나타나기 때문입니다.
다만 초기 목적에서 벗어난 모든 경우를 비정상으로 판단해서는 안 됩니다. 대화를 통해 새로운 사실이 드러나고 사용자가 목적을 정당하게 변경할 수 있습니다. 예를 들어 ‘가능한 한 짧은 시간에 이동한다’는 목적으로 계획을 시작했더라도 새로운 안전 정보를 알게 된 뒤 ‘시간이 조금 더 걸리더라도 안전을 우선한다’로 바뀔 수 있습니다. 이 경우 초기 목적과의 차이는 존재하지만 실패가 아니라 이해가 갱신된 결과입니다.
따라서 감지해야 하는 것은 단순한 차이가 아니라 목적이 변화한 경로입니다. 그 변화가 명시적으로 승인되었는지, 새로운 정보로 정당화되었는지, 아니면 측정하기 쉬운 지표를 추구하는 과정에서 암묵적으로 대체되었는지를 구별해야 합니다. AI는 이전 대화와의 차이를 보여 주며 “처음에는 안전성이 조건이었지만 현재 비교에서는 비용만 사용되고 있습니다”라고 지적할 수 있습니다. 그러나 그 변화를 허용할지는 사용자가 판단해야 합니다.
목적의 이탈을 감지하는 메커니즘에는 오경보 문제도 있습니다. 인간의 목적은 언제나 하나의 명확한 문장으로 표현될 수 있는 것이 아니며 여러 가치가 긴장 관계 속에 존재할 수도 있습니다. AI가 사소한 표현 차이까지 모두 목적 변경으로 경고하면 대화는 확인 과정에 지배됩니다. 반대로 민감도가 너무 낮으면 가치 기준의 중요한 변화를 놓칠 수 있습니다. 필요한 것은 단어의 일치가 아니라 판단 결과를 바꿀 수 있는 차이에 초점을 맞추는 것입니다.
구현 원칙으로는 목적과 수단의 관계를 정기적으로 역방향으로 추적하는 것이 유용합니다. “이 출력이 현재 질문에 답하고 있는가?”만 묻는 것이 아니라 “이 질문은 어떤 목적에 기여하는가?”, “이 평가 기준이 개선될 때 상위 목적도 개선될 것이라고 기대할 근거는 무엇인가?”로 되돌아갑니다. 이러한 역방향 확인을 통해 출력 품질의 평가와 목적 적합성의 평가를 분리할 수 있습니다.
여기에는 인간의 메타 수준 사고와 AI의 지원이 연결될 여지가 있습니다. 인간은 목적의 의미와 가치를 맡지만 긴 대화 속에서 이전 조건을 잊거나 눈앞의 수치에 주의를 빼앗길 수 있습니다. AI는 이력을 비교하고 변화한 조건을 외부화함으로써 그러한 누락을 보완할 수 있습니다. 한편 AI 자체도 현재 맥락에 강하게 적응하기 때문에 목적의 유지를 전적으로 AI에 맡기는 것만으로 충분하다고 할 수는 없습니다. 목적 확인을 독립된 작업으로 설계할 필요가 있습니다.
목적의 이탈을 감지하는 능력은 AI가 ‘진정한 목적’을 아는 능력이 아닙니다. 인간의 목적은 대화를 통해 형성될 수도 있고 서로 충돌하는 목적이 동시에 존재할 수도 있습니다. 따라서 AI가 할 수 있는 것은 선언된 목적, 현재 질문, 평가 기준, 출력 사이에서 발생한 불일치를 보여 주고 재검토를 촉구하는 데까지입니다. 중요한 것은 목적을 추론해 고정하는 것이 아니라 목적이 변했을 가능성을 인간이 검토할 수 있는 형태로 만드는 것입니다.
이 관점에서 보면 더 고성능인 AI라고 해서 목적 확인이 불필요해지는 것은 아닙니다. 오히려 국소 최적화가 빨라지고 설득력 있는 출력을 대규모로 생성할 수 있을수록 방향의 이탈은 더 알아차리기 어려워질 수 있습니다. 안전을 위해 AI의 능력을 약화시키는 대신 그 능력이 향하는 방향을 검토할 수 있는 별도의 층이 필요합니다. 속도와 방향 확인을 대립시키지 말고 둘을 순환시키는 설계가 요구됩니다.
‘무엇을 위해서인가?’라고 묻는 것은 단순한 질문 기법이 아닙니다. 인간과 AI가 함께 탐색할 때 현재 질문이 상위 목적과 여전히 연결되어 있는지를 확인하는 작업입니다. 목적, 질문, 출력을 한 방향으로만 흐르게 하는 것이 아니라 출력에서 질문으로, 질문에서 목적으로 되돌아가는 경로를 가져야 합니다. 그 순환이 있다면 AI는 방법을 빠르게 할 뿐 아니라 방법이 목적을 뒤에 남겨 두고 있지는 않은지 인간이 발견하도록 지원할 수도 있습니다.
답이 아니라, 이해를.