인간의 목표를 재검증할 수 있게 하려면 먼저 “그 사람이 변했다”고 판단할 계기가 필요합니다. 그러나 이는 단순한 감지 문제가 아닙니다. 사람은 피로나 일시적인 감정 때문에 하는 말을 바꿀 수 있고, 새로운 정보를 얻은 뒤 판단을 수정할 수도 있으며, 더 장기적인 가치관의 변화를 겪을 수도 있습니다. 이 모든 것을 같은 종류의 변화로 취급하면 AI는 인간의 상태를 지나치게 공격적으로 업데이트하게 됩니다.
장기적인 학습 목표를 가진 사람이 어느 날 실패한 뒤 “이제 더 이상 하고 싶지 않다”고 말했다고 가정해 봅시다. 그 말 하나만으로 목표를 무효화한다면 일시적인 낙담을 장기적인 의도의 변화로 오인할 수 있습니다. 반대로 다른 가치를 우선하는 발언과 행동이 몇 달 동안 반복되었는데도 원래 목표를 계속 유지한다면 실질적인 변화가 잡음으로 버려질 수 있습니다.
따라서 최소한 “관찰된 반응”, “본인의 해석”, “시간에 걸친 지속성”, “목표에 대한 함의”를 분리해야 합니다. 관찰된 반응에는 발언, 선택, 행동 후에 보고된 감정이 포함됩니다. 본인의 해석은 자신이 그러한 반응을 어떻게 이해하는지에 관한 것입니다. 지속성은 조건이 달라져도 비슷한 경향이 계속되는지를 묻습니다. 목표에 대한 함의는 이러한 요소들이 현재 목표를 지탱하는 이유나 전제를 실제로 바꾸는지에 대한 별도의 판단입니다.
이러한 분리가 필요한 이유는 AI가 인간의 내적 상태를 직접 관찰할 수 없기 때문입니다. AI가 다룰 수 있는 것은 사람이 언어로 표현한 내용, 선택한 행동, 공유한 결과처럼 어떤 형태로든 외부화된 정보뿐입니다. 여기에서 “그 사람의 가치관이 변했다”고 추론하는 데에는 불확실성이 포함됩니다. 그 추론을 사실로 저장하면 시스템 스스로 만든 인물상이 이후의 대화를 이끌고, 그 인물상을 더욱 강화하는 피드백 순환을 만들 수 있습니다.
동시에 모든 것을 불확실한 것으로 취급하고 아무것도 업데이트하지 않는 설계 역시 충분하지 않습니다. 사람이 지금은 상황이 달라졌다고 반복해서 말하고, 선택도 달라졌으며, 이전 목표를 지탱하던 이유가 더 이상 성립하지 않는다면 그 차이를 대화로 되돌려야 합니다. 핵심은 변화를 자동으로 확정하는 것이 아니라 재확인이 필요한 상태로 표현하는 것입니다.
여기에서는 변화를 하나의 수치나 속성으로 지나치게 압축하지 않는 것이 유용합니다. “동기가 저하되었다”는 표지만으로는 피로인지, 방법에 대한 불만인지, 목표 자체에 대한 관심이 줄어든 것인지 구별할 수 없습니다. 같은 표면적 반응도 서로 다른 의미를 가질 수 있습니다. 이를 목표의 재검증과 연결하려면 시스템은 무엇이 변했을 가능성이 있는지에 관한 관계적 정보를 보존하고 적절한 질문을 통해 그것을 분해할 수 있어야 합니다.
AI가 질문을 던지는 시점도 중요합니다. 감정이 흔들릴 때마다 목표를 문제 삼으면 대화가 불안정해집니다. 반대로 명확한 변화가 누적되어도 재고를 촉발하지 않는다면 과거의 목표가 고정됩니다. 재검증을 위한 더 합리적인 계기는 여러 단서를 결합합니다. 이전의 이유와 현재의 선택 사이에 지속되는 불일치, 현실 세계의 경험으로 인한 중요한 전제의 붕괴, 또는 본인이 명시적으로 밝힌 가치 판단의 변화 등이 그 예입니다.
여러 단서가 일치하더라도 AI가 “그 사람이 변했다”고 최종 선언할 필요는 없습니다. 대신 차이를 제시할 수 있습니다. “이전에는 이런 이유로 이 목표를 선택했지만, 최근의 경험에서는 다른 가치에 더 큰 비중을 두는 것으로 보입니다. 이 차이를 어떻게 이해하고 있습니까?” 이렇게 하는 편이 인간의 주체성을 더 잘 유지할 수 있습니다. 감지의 목적은 사람에 대한 인물상을 최종 확정하는 것이 아니라, 본인이 자신의 변화를 검토할 수 있는 상태를 만드는 것입니다.
Sai＊aus에서 인간을 이해할 때 이 경계는 중요합니다. AI가 인간의 변화를 다룰 수 없다면 장기적인 이해는 과거에 대한 고착이 됩니다. AI가 변화를 지나치게 강하게 단정하면 인간을 시스템의 추론 안에 가두게 됩니다. 필요한 것은 변화의 징후를 보존하고, 추론과 본인의 자기 이해를 구별하며, 그 차이를 재검증을 위한 질문으로 전환하는 것입니다.
AI가 인간이 변했다는 것을 “어디에서” 감지해야 하는지에 단 하나의 지점은 없습니다. 행동 후의 반응만으로도, 표현의 변화만으로도 충분하지 않습니다. 현실과의 접촉, 본인의 해석, 시간에 걸친 지속성, 그리고 이전 목표를 지탱하던 이유와의 관계를 고려하면서 변화의 가능성을 단계적으로 다뤄야 합니다. AI에게 필요한 것은 사람의 내적 상태를 정확히 단언하는 능력이 아닙니다. 변화를 지나치게 확정하지도, 놓치지도 않는 표상과 대화 구조가 필요합니다.
답이 아니라, 이해를.