Quando uma IA recomenda uma determinada opção, perguntar “Por que você pensou assim?” produz uma exposição organizada de razões. Ela pode dizer que a condição A recebeu prioridade, que a opção B tem uma determinada desvantagem ou que essa escolha é mais adequada ao objetivo C. Essas explicações são úteis para comparar os fundamentos de um julgamento. Mas o fato de o texto ser legível e coerente não significa que ele possa ser tratado como um registro direto do processamento que ocorreu dentro da IA até a produção do resultado.
Mesmo entre seres humanos, às vezes colocamos razões em palavras depois de agir. Uma explicação tem valor como representação que permite a outra pessoa examinar um julgamento, mas a afirmação explicativa e a própria causa não são idênticas. Com a IA, essa distinção é ainda mais importante. Uma explicação gerada é um resultado construído a partir do contexto fornecido; não é uma transcrição completa, legível por humanos, do complexo cálculo interno do modelo.
Isso não exige que concluamos que “as explicações da IA não têm significado”. Há aspectos que podemos examinar por meio de uma explicação: quais pressupostos ela adota explicitamente, quais condições afirma serem importantes, como compara alternativas e se reconhece a incerteza. Esses elementos fornecem pistas para que os seres humanos examinem o resultado. O importante é tratar a explicação não como uma “evidência que revela diretamente o interior”, mas como uma “representação externa que pode ser examinada”.
Essa distinção é especialmente importante na pesquisa. Mesmo que peçamos a uma IA que explique as razões de uma hipótese, a explicação por si só não prova que a hipótese esteja correta. Precisamos verificar as fontes originais, as observações, as evidências contrárias e as explicações alternativas. A capacidade de uma IA de escrever com confiança é distinta da existência de evidências suficientes sobre o mundo externo. Não substituir a força das evidências pela fluência da explicação é o ponto de partida da verificação.
O valor de perguntar “por quê?” no diálogo com uma IA não está em extrair um processo interno oculto, mas em transformar um julgamento em uma forma que os seres humanos possam examinar. Se perguntarmos “Quais informações você tratou como fatos?”, “Onde estão os pressupostos?” e “Que mudança alteraria a conclusão?”, torna-se mais fácil identificar pontos fracos no resultado. Isso não é uma maneira de compreender completamente o interior da IA, mas pode esclarecer o que os seres humanos precisam verificar adicionalmente.
O pensamento em nível meta pode ser usado não apenas para observar nossa própria maneira de pensar a partir de um passo de fora, mas também para reconsiderar o que acreditamos ter aprendido sobre a IA. Podemos distinguir “ser capaz de explicar uma razão” de “ser capaz de observar uma causa”, “plausível” de “sustentado por evidências verificadas” e “consistente” de “correto”. Com essas distinções, podemos evitar supervalorizar as explicações da IA e, ao mesmo tempo, usá-las como material útil para exame.
Perguntar “por quê?” a uma IA é importante. Mas também precisamos perguntar novamente que tipo de resposta é essa resposta. O que precisamos não é da ilusão de olhar completamente para dentro da IA, mas de material que nos permita verificar um julgamento e revisá-lo se necessário. Conhecer os limites de uma explicação não significa desconfiar da IA. Significa compreender até onde uma explicação pode ser usada e a partir de que ponto evidências externas ou o julgamento humano devem fazer a verificação.
Não respostas. Compreensão.