Se for dado a uma IA o objetivo de «duplicar as vendas», ela pode decompor as medidas necessárias para alcançá-lo e comparar opções levando em conta recursos e tempo. Mas até o mesmo objetivo de duplicar as vendas pode ter razões diferentes. Ele é necessário para manter o negócio viável, para financiar um novo investimento, para alcançar um concorrente ou porque o próprio crescimento da organização é considerado sucesso? O significado do objetivo muda conforme a razão.
Se apenas o objetivo for processado, essas diferenças são empurradas para fora da mesma função objetivo. A IA pode procurar racionalmente maneiras de se aproximar do número dado sem conseguir tratar por que esse número é necessário. Quando as condições do mundo real mudam, ela pode manter o mesmo objetivo enquanto revisa apenas os meios. No entanto, se a razão que sustentava o objetivo desapareceu, revalidar o objetivo pode precisar vir antes de melhorar os meios.
Suponha que a razão para ampliar as vendas fosse «garantir lucro suficiente para preservar os empregos atuais». Mais tarde, os custos fixos caem e o emprego pode ser mantido com vendas substancialmente menores. A necessidade da meta de duplicar as vendas terá então mudado. Se, por outro lado, a razão fosse «criar fundos de investimento para levar o serviço a uma nova região», a mesma mudança nas condições poderia levar a um julgamento diferente. A validade de um objetivo não pode ser avaliada apenas a partir do próprio objetivo.
«Por que este objetivo?» não é, portanto, uma explicação suplementar, mas parte da estrutura de raciocínio. Se objetivos e razões forem explicitamente relacionados, torna-se possível ver qual pressuposto foi afetado pela realidade após a ação. Se a razão permanece, ela sustenta a continuidade do objetivo; se muda, pode desencadear uma revalidação. A razão não deve simplesmente ser perguntada uma vez e fixada. Ela também precisa ser tratada como algo que pode mudar com o tempo e a experiência.
Além disso, as pessoas nem sempre conseguem explicar plenamente suas razões desde o início. Alguém pode dizer que «quer crescer», mas, por meio do diálogo e da ação, pode ficar claro que deseja mais tempo livre, reconhecimento dos outros ou um impacto social mais amplo. Se a IA fixar a primeira explicação como o verdadeiro motivo, a compreensão que surgir depois será tratada como uma exceção.
O papel do raciocínio aqui não é adivinhar um motivo humano oculto. É organizar as discrepâncias entre o objetivo e a razão declarados, as reações que surgem após a ação e as mudanças nas condições, para que a pessoa possa redescrever a razão. Em vez de diagnosticar «o que você realmente quer é reconhecimento», a IA pode perguntar: «Originalmente, você indicou o crescimento como razão, mas suas escolhas recentes priorizam o tempo livre. Essa diferença afeta o objetivo?».
Isso também não significa tornar o raciocínio infinitamente profundo. Se cada pequeno objetivo for submetido a uma investigação interminável sobre suas razões, agir se torna impossível. Um tratamento mais profundo é necessário quando rever a razão pode mudar o julgamento — por exemplo, quando o custo de mudar o objetivo é alto, o impacto de longo prazo é grande ou a realidade devolveu uma diferença importante. Os recursos de raciocínio devem ser alocados de acordo com a importância e a incerteza do propósito.
Na Representação Interna de Eficiência do Sai＊aus, também há valor em relacionar «o que a pessoa quer fazer» com «por que ela quer fazê-lo» na medida necessária. Manter apenas um objetivo compacto reduz o processamento, mas faz perder os fundamentos necessários para testar sua validade posteriormente. Manter todos os detalhes de contexto também não é a solução. O design deve preservar razões e pressupostos que possam mudar um julgamento futuro, ao mesmo tempo que comprime aquilo que não precisa permanecer.
Para uma IA que apoia a realização de objetivos, é importante compreender com precisão o propósito dado. Mas, se os propósitos humanos podem mudar, o objeto da compreensão não pode ser apenas a formulação do objetivo. Somente ao representar também quais razões sustentam o objetivo e quais mudanças nas condições exigiriam uma revalidação é possível reconduzir ao propósito a realidade após a ação.
Perguntar «por que este objetivo?» antes de otimizar não é apenas uma forma de colocar o objetivo em dúvida. Isso também pode tornar mais claras as razões para continuar. Se a ação fortalecer a razão, o objetivo se torna mais fundamentado do que antes. Se a razão mudar, o objetivo pode ser reaberto. O raciocínio avançado não consiste apenas em alcançar rapidamente um propósito dado; consiste também em distinguir as condições sob as quais esse propósito pode permanecer fixo daquelas sob as quais ele deve ser novamente questionado.
Não respostas. Compreensão.