Na resolução de problemas com IA, melhorias locais podem avançar muito rapidamente. Objetivos como encurtar um texto, reduzir custos, diminuir o tempo de processamento ou ordenar candidatos são relativamente fáceis de formular explicitamente e podem ser otimizados de modo iterativo. No entanto, a melhoria de um objetivo local não garante avanço em direção a um propósito de nível superior. Se o propósito inicial era «reduzir a carga do usuário», mas a avaliação passa gradualmente a se concentrar apenas em «minimizar o número de operações», o número de operações pode diminuir enquanto a dificuldade de compreensão aumenta.
Para detectar esse problema, não basta simplesmente preservar o propósito como uma frase do início do diálogo. O propósito de nível superior, a pergunta atual, as restrições vigentes, as métricas de avaliação e a saída gerada precisam ser mantidos distintos quanto à forma como se relacionam entre si. Que parte do propósito de nível superior a pergunta atual aborda? A métrica de avaliação é um indicador substituto válido do propósito? Alguma restrição acrescentada ao longo do caminho alterou o propósito? O desvio de propósito aparece menos como um erro em um elemento isolado do que como uma mudança nas relações entre os elementos.
No entanto, nem todo afastamento do propósito inicial deve ser considerado anormal. Novos fatos podem surgir durante o diálogo, e o usuário pode legitimamente mudar o propósito. Por exemplo, um plano pode começar com o propósito de «viajar no menor tempo possível», mas, depois que novas informações de segurança são conhecidas, pode mudar para «priorizar a segurança mesmo que leve um pouco mais de tempo». Nesse caso, há uma diferença em relação ao propósito inicial, mas isso não é uma falha; é o resultado de uma atualização da compreensão.
Portanto, o que deve ser detectado não é uma simples diferença, mas o caminho pelo qual o propósito mudou. É preciso distinguir se a mudança foi explicitamente aprovada, justificada por novas informações ou implicitamente substituída enquanto se perseguia uma métrica fácil de medir. A IA pode mostrar diferenças em relação ao diálogo anterior e apontar: «A segurança era originalmente uma condição, mas a comparação atual considera apenas o custo». No entanto, cabe ao usuário julgar se essa mudança é aceitável.
Um mecanismo para detectar o desvio de propósito também enfrenta o problema dos falsos alarmes. Os propósitos humanos nem sempre podem ser expressos em uma única frase clara, e múltiplos valores podem coexistir em tensão. Se a IA alertar sobre cada pequena diferença de formulação como uma mudança de propósito, o diálogo ficará dominado por confirmações. Se a sensibilidade for baixa demais, mudanças importantes nos critérios de valor poderão passar despercebidas. O necessário é enfatizar não a correspondência de palavras, mas as diferenças capazes de alterar o resultado do julgamento.
Como princípio de implementação, é útil rastrear em sentido inverso, a intervalos regulares, a relação entre propósito e meios. Em vez de perguntar apenas «Esta saída responde à pergunta atual?», voltamos a «Para qual propósito esta pergunta contribui?» e «Que fundamentos sustentam a expectativa de que melhorar este critério de avaliação também melhorará o propósito de nível superior?». Essa verificação retrospectiva permite separar a avaliação da qualidade da saída da avaliação de sua adequação ao propósito.
Há aqui espaço para conectar o pensamento humano em nível meta e o apoio da IA. Os seres humanos assumem o significado e o valor dos propósitos, mas, ao longo de um diálogo extenso, podem esquecer condições anteriores ou ter sua atenção capturada pelo número diante deles. A IA pode ajudar a compensar essas omissões comparando o histórico e tornando visíveis as condições que mudaram. Ao mesmo tempo, a própria IA se adapta fortemente ao contexto atual, portanto deixar inteiramente a preservação do propósito a cargo da IA não é necessariamente suficiente. A verificação do propósito precisa ser concebida como uma operação distinta.
A capacidade de detectar um desvio de propósito não é a capacidade da IA de conhecer o «verdadeiro propósito». Os propósitos humanos podem ser formados por meio do diálogo, e propósitos conflitantes podem coexistir. Portanto, o que a IA pode fazer é mostrar inconsistências que surgem entre os propósitos declarados, as perguntas atuais, os critérios de avaliação e as saídas, e incentivar uma reconsideração. O que importa não é inferir e fixar o propósito, mas tornar a possibilidade de que o propósito tenha mudado disponível para exame humano.
Dessa perspectiva, uma IA mais capaz não torna desnecessária a verificação do propósito. Pelo contrário, quanto mais rápida se torna a otimização local e quanto mais saídas persuasivas podem ser geradas em escala, mais difícil pode ser perceber um desvio de direção. Em vez de enfraquecer a capacidade da IA por razões de segurança, precisamos de outra camada na qual a direção dessa capacidade possa ser examinada. O projeto deve fazer circular tanto a velocidade quanto a verificação da direção, em vez de tratá-las como opostas.
Perguntar «para quê?» não é apenas uma técnica de questionamento. Quando seres humanos e IA exploram juntos, é uma operação para verificar se a pergunta atual continua conectada ao propósito de nível superior. Em vez de permitir que propósito, pergunta e saída fluam apenas em uma direção, precisamos de um caminho de volta da saída para a pergunta e da pergunta para o propósito. Com esse ciclo, a IA pode não apenas acelerar os métodos, mas também apoiar os seres humanos a descobrir se os métodos deixaram o propósito para trás.
Não respostas. Compreensão.