Quando pedimos à IA para «mostrar pressupostos que eu possa estar a ignorar», «apresentar pontos de vista opostos» ou «separar os pontos sobre os quais não podes ter certeza», obtemos material para reconsiderar um julgamento a partir de uma perspetiva externa. Pode esperar-se que essas funções apoiem a metacognição. No entanto, o simples facto de ler muitas perspetivas ou de sentir que nos tornámos mais cautelosos não demonstra que a capacidade de julgamento tenha melhorado. Se avaliarmos isto como investigação, precisamos de definir antecipadamente quais mudanças produzidas pelo apoio contarão como «melhoria».
Uma medida é a calibração. A calibração diz respeito ao grau de correspondência entre a exatidão de um julgamento e o nível de confiança da pessoa. Ter elevada confiança quando se está correto e conseguir reduzi-la quando se está errado pode ser preferível a simplesmente ter uma confiança forte. Se a IA apresentar contraexemplos e incerteza e o resultado for apenas que os utilizadores perdem a confiança em tudo, isso não constitui necessariamente uma melhoria. O que importa é saber se a confiança passa a corresponder de forma mais adequada à força das evidências.
Uma segunda medida é a deteção de erros. Podemos comparar até que ponto os utilizadores que recebem apoio da IA descobrem pressupostos errados, contradições e evidências insuficientes no seu próprio raciocínio ou nos resultados da IA. Contudo, se a IA lhes disser diretamente onde está o erro, uma melhoria do desempenho não é surpreendente. Para avaliar o apoio à metacognição, precisamos de separar as condições em que a resposta é fornecida das condições em que são fornecidas apenas perspetivas para análise. Ao observar se os utilizadores conseguem detetar erros em problemas diferentes depois de receberem apoio, podemos examinar a diferença entre a melhoria do julgamento e a mera dependência de respostas.
Uma terceira questão é a transferência. Se as pessoas que recebem apoio para «verificar pressupostos» numa tarefa começarem posteriormente a verificar pressupostos espontaneamente noutro domínio, o apoio terá ido além de uma melhoria temporária do desempenho na tarefa. Por outro lado, se só se tornarem cautelosas quando a IA está presente e regressarem ao seu estilo anterior de julgamento quando o apoio desaparece, o sistema poderá estar a funcionar mais como um auxílio externo do que como formação de capacidades. Nenhuma das situações é inerentemente má, mas as afirmações sobre o efeito devem distingui-las.
O tempo de decisão também não pode ser ignorado. O apoio à metacognição exige frequentemente verificações adicionais. Se a exatidão melhorar apenas ligeiramente enquanto o tempo aumenta substancialmente em tarefas simples e de baixo risco, o seu valor prático poderá ser limitado. Em decisões nas quais são possíveis perdas graves, pelo contrário, o tempo adicional poderá ser aceitável. Por conseguinte, os efeitos precisam de ser avaliados não apenas pela exatidão, mas em combinação com o risco da tarefa, o tempo e a carga cognitiva.
Também devemos examinar a possibilidade de o apoio aumentar o excesso de confiança. O facto de «a IA ter até verificado pontos de vista opostos» pode dar aos utilizadores uma segurança excessiva. Mesmo quando um sistema apresenta múltiplas perspetivas, as informações subjacentes podem estar erradas ou podem continuar a faltar perspetivas importantes. Se a própria existência de apoio metacognitivo for tomada como garantia de qualidade, a função de apoio torna-se uma nova autoridade.
Por outro lado, avisos excessivos podem tornar impossível formular um julgamento. Se a IA apresentar sempre numerosos contraexemplos, incertezas e condições adicionais, os utilizadores poderão sentir continuamente que «ainda não examinámos o suficiente». A investigação precisa, portanto, de variar não apenas a presença ou ausência de apoio, mas também a frequência e o momento da intervenção. Um método que intervém apenas quando existem sinais de erro pode apresentar uma relação entre exatidão e carga diferente da de um método que intervém constantemente.
As condições de comparação também são importantes no desenho experimental. Comparar apenas o apoio da IA com a ausência de apoio torna difícil separar o efeito de simplesmente receber mais informação do efeito do apoio metacognitivo. Condições que fornecem a mesma quantidade de informação adicional, que apresentam apenas pontos de vista opostos ou que exigem que os participantes enumerem eles próprios os pressupostos podem ajudar a examinar com maior detalhe que intervenção afeta o quê. Os efeitos também podem diferir de acordo com o tipo de tarefa e a experiência dos participantes.
Também precisamos de distinguir o desempenho do julgamento a curto prazo da formação de capacidades a longo prazo. Se a IA compensar uma fraqueza naquele momento, os resultados imediatos podem melhorar. Mas saber se a utilização a longo prazo aumenta a capacidade dos próprios utilizadores para examinar julgamentos ou, em vez disso, aumenta a dependência de apoio externo é uma questão diferente. Esta diferença pode ser estudada avaliando os utilizadores sem apoio após uma utilização prolongada e medindo a transferência para tarefas diferentes.
Ao avaliar um design como o Sai＊aus, que enfatiza a atualização da compreensão, o autorrelato de que «o utilizador sentiu que pensou mais profundamente» não é suficiente. Precisamos de medir em que condições melhorou a deteção de erros, se a calibração da confiança mudou, se a revisão dos pressupostos foi transferida para outras tarefas e se a autonomia no julgamento foi preservada. Ao mesmo tempo, é importante não presumir uma melhoria em todas as situações, mas registar as condições em que os efeitos são fracos ou adversos.
O valor de uma IA que apoia a metacognição não é estabelecido apenas por um princípio atraente. Só testando quando, em que tarefas e segundo que medidas a capacidade de reconsiderar o próprio pensamento produz melhorias é que as afirmações de design podem ser ligadas a efeitos empíricos. Existe uma distância que precisa de ser medida entre a IA parecer «fazer as pessoas pensar» e o julgamento humano melhorar efetivamente. Investigar preservando essa distância é a cautela exigida a um design que afirma apoiar a compreensão.
Não respostas. Compreensão.