목표가 명확할 때 최적화는 강력합니다. 이동 시간을 단축하고, 비용을 줄이며, 일정한 품질 수준을 유지하면서 작업량을 줄이는 등의 조건이 정해지면 AI는 많은 후보를 비교할 수 있습니다. 그러나 인간의 중요한 판단에서는 목표 자체가 하나로 정해져 있지 않거나 확정되지 않은 경우가 있습니다. 어떤 사람은 소득을 늘리면서도 가족과 보내는 시간을 지키고 싶어 할 수 있고, 성장하고 싶으면서도 건강에 가해지는 부담은 늘리고 싶지 않을 수 있습니다. 이런 상황에서는 최적화를 시작하기 전에 가치들 사이의 관계를 고려해야 합니다.
문제는 여러 가치를 숫자로 변환하는 행위 자체가 아닙니다. 비교를 위해 가중치를 부여하는 것은 유용할 수 있습니다. 그러나 그 가중치를 누가 왜 설정했는지가 불분명해지면 목표의 형성은 단순한 계산 조건으로 바뀝니다. 예를 들어 처음부터 소득을 높게 평가하는 설정이 주어지면 AI는 그 조건에 따라 일관된 제안을 할 수 있습니다. 그렇더라도 그 사람이 정말로 소득을 다른 모든 것보다 우선하고 싶은지는 계산의 정확성만으로 도출할 수 없습니다.
유한한 인간에게 이 차이는 중요합니다. 잘못된 목표를 설정한 뒤에도 삶을 몇 번이고 처음부터 다시 시작할 수 있다면, 나중에 가장 좋은 결과를 낳은 가중치를 선택할 수 있을지도 모릅니다. 그러나 현실에서는 선택으로 인해 사용한 시간의 일부와 잃어버린 기회의 일부가 돌아오지 않습니다. 따라서 “무엇을 최적화해야 하는가?”는 단순한 기술적 전처리 단계가 아니라, 한 사람이 자신의 유한한 시간을 무엇에 사용할 것인지에 관한 판단의 일부입니다.
사고를 지원하는 역할로서 AI가 할 수 있는 것은 목표를 스스로 고정하는 것이 아니라 목표 내부의 충돌을 보이게 하는 것입니다. 하나의 가치에 우선순위를 두었을 때 무엇이 달라지는지, 다른 가치에 더 큰 가중치를 부여했을 때 후보의 순위가 어떻게 바뀌는지를 보여줄 수 있습니다. 또한 질문을 통해 겉으로는 하나의 목표처럼 보이는 것이 실제로는 여러 바람을 포함하고 있는지 확인할 수도 있습니다. 이러한 비교는 문제를 하나의 최적해로 축소하기 전에 사람이 자신이 무엇을 선택하려 하는지 이해하도록 도울 수 있습니다.
여기서 질문하는 것 자체가 목적이 되어서는 안 됩니다. 목표가 명확하고 선택을 쉽게 되돌릴 수 있는 경우까지 매번 멈춘다면 지원은 오히려 부담이 됩니다. 중요한 것은 목표의 모호성이 결론을 바꿀 수 있는 상황, 여러 가치가 충돌하는 상황, 또는 선택의 비가역성이 높은 상황을 식별하는 것입니다. 질문은 속도에 대한 반대가 아니라, 목표가 아직 인간이 자신의 것으로 인식할 수 있는 것으로 형성되지 않았을 때 필요한 수단입니다.
Sai＊aus에게 최적화와 이해가 만나는 지점은 바로 여기에 있습니다. AI가 훌륭한 수단을 찾아내더라도 인간이 그 수단이 향하는 목표를 이해하지 못한다면 높은 효율성이 반드시 바람직한 결과를 의미하지는 않습니다. 따라서 수단을 비교하는 층과 무엇이 중요한지를 검토하는 층을 혼동해서는 안 됩니다. AI의 능력을 목표 형성을 위한 재료로 활용하면서도, 인간이 가치에 부여된 우선순위에 책임을 질 수 있는 구조를 유지할 수 있습니다.
최적화에 앞서 “무엇이 중요한지”를 결정한다는 것은 한 사람이 언제나 혼자 고립되어 생각해야 한다는 뜻이 아닙니다. 사람은 다른 사람들과의 관계와 사회적 책임 속에서 가치를 형성합니다. AI 역시 그러한 검토를 지원할 수 있습니다. 그렇더라도 계산할 수 있게 된 것과 위임해야 하는 것은 반드시 같지 않습니다. 사고 지원은 유한한 주체가 자신의 선택이 무엇을 우선하고 무엇을 포기하는지 이해한 뒤, 인간의 판단을 지우지 않으면서 최적화를 사용할 수 있다는 조건을 지켜야 합니다.
답이 아니라, 이해를.