Tornar os objetivos humanos revalidáveis exige, primeiro, algum elemento desencadeador para julgar que “a pessoa mudou”. Mas este não é um simples problema de detecção. As pessoas podem mudar o que dizem devido ao cansaço ou a uma emoção temporária, rever um julgamento após receber novas informações ou passar por uma mudança de valores de mais longo prazo. Se tudo isso for tratado como o mesmo tipo de mudança, a IA atualizará o estado da pessoa de forma excessivamente agressiva.
Suponha que uma pessoa com um objetivo de aprendizagem de longo prazo diga, após um dia de fracasso: “Não quero mais fazer isto.” Se essa afirmação, por si só, invalidar o objetivo, um desânimo temporário poderá ser confundido com uma mudança de intenção de longo prazo. Por outro lado, se o objetivo original for mantido mesmo que afirmações e ações que priorizam um valor diferente tenham se repetido durante meses, uma mudança substancial poderá ser descartada como ruído.
Portanto, no mínimo, é necessário separar “a reação observada”, “a interpretação da própria pessoa”, “a persistência ao longo do tempo” e “as implicações para o objetivo”. As reações observadas incluem afirmações, escolhas e sensações relatadas após uma ação. A interpretação da pessoa diz respeito a como ela compreende essas reações. A persistência pergunta se uma tendência semelhante permanece quando as condições mudam. As implicações para o objetivo constituem um julgamento separado sobre se esses fatores realmente alteram as razões ou os pressupostos que sustentam o objetivo atual.
Essa separação é necessária porque a IA não pode observar diretamente o estado interior de um ser humano. Ela só pode trabalhar com informações exteriorizadas de alguma forma, como aquilo que a pessoa verbaliza, as ações que escolhe e os resultados que compartilha. Qualquer inferência, a partir desses elementos, de que “os valores da pessoa mudaram” contém incerteza. Se a inferência for armazenada como fato, o retrato criado pelo próprio sistema poderá orientar diálogos posteriores e criar um ciclo de retroalimentação que reforce ainda mais esse retrato.
Ao mesmo tempo, um projeto que trata tudo como incerto e não atualiza nada também é insuficiente. Se uma pessoa afirma repetidamente que agora as coisas são diferentes, suas escolhas mudaram e as razões que sustentavam o objetivo anterior já não se mantêm, essa diferença precisa ser devolvida ao diálogo. O essencial não é confirmar a mudança automaticamente, mas representá-la como um estado que requer nova confirmação.
Aqui, é útil não comprimir a mudança de forma excessiva em um único número ou atributo. Um rótulo como “a motivação diminuiu” não consegue distinguir entre cansaço, insatisfação com o método ou redução do interesse pelo próprio objetivo. A mesma reação superficial pode ter significados diferentes. Para conectá-la à revalidação do objetivo, o sistema deve preservar informações relacionais sobre o que pode ter mudado e ser capaz de decompô-las por meio de perguntas apropriadas.
O momento em que a IA faz perguntas também importa. Se toda flutuação emocional desencadear um questionamento do objetivo, o diálogo se tornará instável. Se nem mesmo mudanças claras acumuladas desencadearem uma reconsideração, o objetivo antigo ficará fixado. Desencadeadores mais razoáveis para a revalidação combinam vários indícios: uma incompatibilidade persistente entre as razões anteriores e as escolhas atuais, o colapso de um pressuposto importante por meio da experiência no mundo real ou uma mudança explícita no julgamento de valor declarada pela pessoa.
Mesmo quando vários indícios convergem, a IA não precisa fazer a declaração final de que “a pessoa mudou”. Em vez disso, pode apresentar a diferença: “Anteriormente, você escolheu este objetivo por esta razão, mas, em experiências recentes, parece estar atribuindo maior peso a outro valor. Como você compreende essa diferença?” Isso preserva melhor a agência humana. O propósito da detecção não é fixar definitivamente um retrato da pessoa, mas criar um estado em que a pessoa possa examinar a própria mudança.
Esse limite é importante para a compreensão humana em Sai＊aus. Se a IA não consegue lidar com a mudança humana, a compreensão de longo prazo torna-se uma fixação no passado. Se a IA afirma a mudança com demasiada força, confina a pessoa à inferência do sistema. O que é necessário é preservar os sinais de mudança, distinguir a inferência da compreensão que a própria pessoa tem de si e transformar a diferença em uma pergunta para revalidação.
Não existe um único ponto em que a IA deva “detectar” que um ser humano mudou. Nem uma reação após uma ação nem uma mudança na formulação, isoladamente, são suficientes. A possibilidade de mudança deve ser tratada gradualmente, considerando o contato com a realidade, a interpretação da pessoa, a persistência ao longo do tempo e a relação com as razões que sustentavam o objetivo anterior. A IA não precisa da capacidade de declarar corretamente o estado interior de uma pessoa. Ela precisa de representações e estruturas de diálogo que não confirmem excessivamente a mudança nem a deixem passar despercebida.
Não respostas. Compreensão.