AI에게 “내가 놓치고 있을 수 있는 전제를 보여 줘”, “반대 견해를 제시해 줘”, “확신할 수 없는 지점을 구분해 줘”라고 요청하면 판단을 한 단계 밖에서 다시 검토할 수 있는 자료를 얻을 수 있습니다. 이러한 기능은 메타인지를 지원할 것으로 기대할 수 있습니다. 하지만 여러 관점을 읽었다는 사실이나 더 신중해졌다고 느끼는 것만으로 판단 능력이 개선되었다고 할 수는 없습니다. 이를 연구로 평가하려면 지원으로 인해 무엇이 변했을 때 그것을 “개선”이라고 할 것인지 미리 정의해야 합니다.
한 가지 지표는 교정입니다. 교정은 판단의 정확성과 본인의 확신 수준이 얼마나 잘 대응하는지를 다룹니다. 맞았을 때 높은 확신을 가지고, 틀렸을 때 확신을 낮출 수 있다면 단순히 강한 자신감을 갖는 것보다 바람직할 수 있습니다. AI가 반례와 불확실성을 제시한 결과 사용자가 모든 것에 대한 확신을 잃기만 한다면 반드시 개선이라고 할 수는 없습니다. 중요한 것은 확신이 근거의 강도에 더 적절하게 대응하게 되는지입니다.
두 번째 지표는 오류 탐지입니다. AI의 지원을 받은 사용자가 자신의 추론이나 AI 출력에서 잘못된 전제, 모순, 불충분한 근거를 얼마나 잘 찾아내는지 비교할 수 있습니다. 그러나 AI가 오류가 어디에 있는지 직접 알려 준다면 성과가 좋아지는 것은 놀라운 일이 아닙니다. 메타인지 지원을 평가하려면 답을 제공하는 조건과 검토를 위한 관점만 제공하는 조건을 구분해야 합니다. 지원을 받은 뒤 다른 문제에서도 오류를 탐지할 수 있는지를 살펴봄으로써 판단 개선과 단순한 답변 의존의 차이를 검토할 수 있습니다.
세 번째 쟁점은 전이입니다. 한 과제에서 “전제를 확인하라”는 지원을 받은 사람이 이후 다른 영역에서도 자발적으로 전제를 확인하기 시작한다면, 그 지원은 일시적인 과제 수행 향상을 넘어선 것입니다. 반대로 AI가 있을 때만 신중해지고 지원이 사라지면 이전의 판단 방식으로 돌아간다면, 시스템은 능력 형성보다는 외부 보조 수단으로 기능하고 있을 가능성이 있습니다. 어느 쪽도 본질적으로 나쁜 것은 아니지만, 효과에 관한 주장은 두 경우를 구분해야 합니다.
판단 시간도 무시할 수 없습니다. 메타인지 지원은 흔히 추가적인 확인을 요구합니다. 단순하고 위험이 낮은 과제에서 정확도는 조금만 향상되는 반면 시간이 크게 늘어난다면 실용적 가치는 제한적일 수 있습니다. 반대로 심각한 손실이 발생할 수 있는 판단에서는 추가 시간이 허용될 수 있습니다. 따라서 효과는 정확도만이 아니라 과제의 위험, 시간, 인지 부하와 함께 평가해야 합니다.
또한 지원이 과신을 증가시킬 가능성도 검토해야 합니다. “AI가 반대 견해까지 확인했다”는 사실이 사용자에게 지나친 안도감을 줄 수 있습니다. 시스템이 여러 관점을 제시하더라도 기초가 되는 정보가 잘못되어 있거나 중요한 관점이 여전히 빠져 있을 수 있습니다. 메타인지 지원이 존재한다는 사실 자체를 품질 보증으로 받아들인다면, 지원 기능이 새로운 권위가 됩니다.
반대로 과도한 경고는 판단 자체를 어렵게 만들 수 있습니다. AI가 매번 수많은 반례, 불확실성, 추가 조건을 제시하면 사용자는 계속해서 “아직 충분히 검토하지 않았다”고 느낄 수 있습니다. 따라서 연구에서는 지원의 유무뿐 아니라 개입의 빈도와 시점도 달리해야 합니다. 오류의 징후가 있을 때만 개입하는 방법은 지속적으로 개입하는 방법과 정확도와 부담 사이의 관계가 다를 수 있습니다.
실험 설계에서는 비교 조건도 중요합니다. AI 지원이 있는 경우와 없는 경우만 비교하면 단순히 정보량이 늘어난 효과와 메타인지 지원의 효과를 분리하기 어렵습니다. 동일한 양의 추가 정보를 제공하는 조건, 반대 견해만 제공하는 조건, 참가자가 직접 전제를 나열하도록 하는 조건 등을 설정하면 어떤 개입이 무엇에 영향을 미쳤는지 더 자세히 검토할 수 있습니다. 효과는 과제 유형이나 참가자의 경험에 따라서도 달라질 수 있습니다.
또한 단기적인 판단 수행과 장기적인 능력 형성을 구분해야 합니다. AI가 그 순간의 약점을 보완하면 즉각적인 결과는 개선될 수 있습니다. 그러나 장기 사용이 사용자의 판단 검토 능력 자체를 높이는지, 아니면 외부 지원에 대한 의존을 증가시키는지는 별개의 문제입니다. 지속적으로 사용한 뒤 지원이 없는 조건에서 사용자를 평가하고 다른 과제로의 전이를 측정함으로써 이 차이를 연구할 수 있습니다.
이해의 갱신을 중시하는 Sai＊aus와 같은 설계를 평가할 때도 “사용자가 더 깊이 생각했다고 느꼈다”는 자기보고만으로는 충분하지 않습니다. 어떤 조건에서 오류 탐지가 개선되었는지, 확신의 교정이 달라졌는지, 전제의 수정이 다른 과제로 전이되었는지, 판단의 주체성이 유지되었는지를 측정해야 합니다. 동시에 모든 상황에서 개선될 것이라고 가정하지 말고, 효과가 약하거나 부정적인 조건도 기록하는 것이 중요합니다.
메타인지를 지원하는 AI의 가치는 매력적인 원칙만으로 확립되지 않습니다. 인간이 자신의 사고를 다시 검토하는 능력이 언제, 어떤 과제에서, 어떤 지표에 따라 개선을 만들어 내는지를 검증해야만 설계상의 주장과 경험적 효과를 연결할 수 있습니다. AI가 “사람을 생각하게 하는” 것처럼 보이는 것과 인간의 판단이 실제로 개선되는 것 사이에는 측정해야 할 거리가 있습니다. 그 거리를 유지한 채 연구하는 것이 이해를 지원한다고 주장하는 설계에 필요한 신중함입니다.
답이 아니라, 이해를.