AI에게 ‘매출을 두 배로 늘린다’는 목표가 주어지면, 이를 달성하는 데 필요한 조치를 세분화하고 자원과 시간을 고려하면서 선택지를 비교할 수 있습니다. 그러나 같은 매출 두 배라는 목표에도 서로 다른 이유가 있을 수 있습니다. 사업의 존속을 위해 필요한 것인지, 새로운 투자를 위한 자금을 마련하려는 것인지, 경쟁자를 따라잡으려는 것인지, 아니면 조직의 성장 자체를 성공으로 보기 때문인지에 따라 목표의 의미는 달라집니다.
목표만 처리한다면 이러한 차이는 동일한 목적함수 밖으로 밀려납니다. AI는 주어진 수치에 가까워지는 방법을 합리적으로 찾을 수 있지만, 왜 그 수치가 필요한지는 다룰 수 없습니다. 현실의 조건이 바뀌어도 수단만 수정하면서 같은 목표를 유지할 수 있습니다. 그러나 목표를 지탱하던 이유가 사라졌다면, 수단을 개선하기 전에 목표를 재검증해야 할 수도 있습니다.
예를 들어 매출 확대의 이유가 ‘현재의 고용을 유지할 만큼 충분한 이익을 확보하는 것’이었다고 가정해 봅시다. 이후 고정비가 낮아져 훨씬 적은 매출로도 고용을 유지할 수 있게 되었다면, 매출을 두 배로 늘린다는 목표의 필요성은 달라진 것입니다. 반대로 이유가 ‘새로운 지역에 서비스를 제공하기 위한 투자 자금을 마련하는 것’이었다면, 동일한 조건 변화도 다른 판단으로 이어질 수 있습니다. 목표의 타당성은 목표만으로 평가할 수 없습니다.
따라서 ‘왜 이 목표인가?’는 보충 설명이 아니라 추론 구조의 일부입니다. 목표와 이유를 명시적으로 연결해 두면 행동 이후의 현실이 어떤 전제에 영향을 미쳤는지 확인할 수 있습니다. 이유가 유지된다면 목표를 계속할 근거가 되고, 이유가 변했다면 재검증을 촉발할 수 있습니다. 이유를 한 번 묻고 고정해서는 안 됩니다. 이유 자체도 시간과 경험에 따라 변할 수 있는 것으로 다루어야 합니다.
또한 사람은 처음부터 자신의 이유를 완전히 설명할 수 있는 것은 아닙니다. 누군가는 ‘성장하고 싶다’고 말할 수 있지만, 대화와 행동을 통해 실제로는 더 많은 자유 시간, 다른 사람의 인정, 또는 더 넓은 사회적 영향을 원한다는 점이 드러날 수 있습니다. AI가 최초의 설명을 진짜 동기로 확정하면, 나중에 나타난 이해를 예외로 취급하게 됩니다.
여기서 추론의 역할은 인간의 숨겨진 동기를 맞히는 것이 아닙니다. 명시된 목표와 이유, 행동 후에 나타난 반응, 조건의 변화 사이의 불일치를 정리하여 당사자가 이유를 다시 기술할 수 있도록 하는 것입니다. AI가 ‘당신이 정말 원하는 것은 인정입니다’라고 진단하기보다, ‘처음에는 성장을 이유로 들었지만 최근 선택에서는 자유 시간을 우선하고 있습니다. 이 차이가 목표에 영향을 줍니까?’라고 묻는 편이 적절합니다.
이것은 추론을 무한히 깊게 만들면 된다는 뜻도 아닙니다. 모든 작은 목표에 대해 이유를 끝없이 파고들면 행동 자체가 불가능해집니다. 목표 변경 비용이 크거나, 장기적 영향이 크거나, 현실에서 중요한 차이가 되돌아온 경우처럼 이유를 다시 확인하는 것이 판단을 바꿀 수 있는 상황에서 더 깊이 다룰 필요가 있습니다. 추론 자원은 목적의 중요성과 불확실성에 따라 배분되어야 합니다.
Sai＊aus의 내부 효율 표현에서도 ‘그 사람이 무엇을 하고 싶은가’뿐 아니라 ‘왜 그것을 하고 싶은가’를 필요한 범위에서 연결하는 것은 의미가 있습니다. 간결한 목표만 유지하면 처리 부담은 줄어들지만 나중에 타당성을 검증하는 데 필요한 근거를 잃게 됩니다. 그렇다고 모든 배경 정보를 보존하는 것이 답도 아닙니다. 미래의 판단을 바꿀 수 있는 이유와 전제는 남기고, 유지할 필요가 없는 것은 압축하도록 설계해야 합니다.
목표 달성을 지원하는 AI에서는 주어진 목적을 정확하게 이해하는 것이 중요합니다. 그러나 인간의 목적이 변할 수 있다면 이해의 대상은 목표의 문구에만 한정될 수 없습니다. 어떤 이유가 목표를 지탱하는지, 어떤 조건 변화가 재검증을 요구하는지까지 함께 표현해야 행동 이후의 현실을 다시 목적에 연결할 수 있습니다.
최적화하기 전에 ‘왜 이 목표인가?’라고 묻는 것은 단지 목표를 의심하기 위한 것이 아닙니다. 목표를 계속해야 하는 이유를 더 명확하게 만들 수도 있습니다. 행동을 통해 이유가 강화되면 목표는 이전보다 더 확고한 근거를 갖게 됩니다. 이유가 변하면 목표도 다시 열어 검토할 수 있습니다. 고도화된 추론은 주어진 목적에 빠르게 도달하는 것만이 아니라, 그 목적을 고정해도 되는 조건과 다시 물어야 하는 조건을 구분할 수 있는 것이기도 합니다.
답이 아니라, 이해를.