Cuando pedimos a la IA «muéstrame los supuestos que quizá estoy pasando por alto», «dame puntos de vista opuestos» o «separa los puntos sobre los que no puedes tener certeza», obtenemos material para reconsiderar un juicio desde una perspectiva externa. Cabe esperar que estas funciones apoyen la metacognición. Sin embargo, el mero hecho de leer muchas perspectivas o sentir que nos hemos vuelto más cautelosos no demuestra que haya mejorado la capacidad de juicio. Si lo evaluamos como investigación, debemos definir de antemano qué cambios producidos por el apoyo contarán como «mejora».
Una medida es la calibración. La calibración se refiere al grado de correspondencia entre la exactitud de un juicio y el nivel de confianza de la persona. Tener mucha confianza cuando se acierta y poder reducirla cuando se yerra puede ser preferible a limitarse a tener una confianza elevada. Si la IA presenta contraejemplos e incertidumbre y el único resultado es que los usuarios pierden la confianza en todo, eso no constituye necesariamente una mejora. Lo importante es si la confianza pasa a corresponder de manera más adecuada con la solidez de la evidencia.
Una segunda medida es la detección de errores. Podemos comparar hasta qué punto los usuarios que reciben apoyo de la IA descubren supuestos erróneos, contradicciones y evidencia insuficiente en su propio razonamiento o en las respuestas de la IA. Sin embargo, si la IA les indica directamente dónde está el error, no sorprende que mejore el rendimiento. Para evaluar el apoyo a la metacognición, debemos separar las condiciones en las que se proporciona la respuesta de aquellas en las que solo se ofrecen perspectivas para examinar. Al observar si los usuarios pueden detectar errores en problemas distintos después de recibir apoyo, podemos examinar la diferencia entre una mejora del juicio y la mera dependencia de las respuestas.
Una tercera cuestión es la transferencia. Si las personas que reciben apoyo para «comprobar los supuestos» en una tarea empiezan posteriormente a comprobarlos espontáneamente en otro ámbito, el apoyo habrá ido más allá de una mejora temporal del rendimiento en la tarea. Por el contrario, si solo se vuelven cautelosas cuando la IA está presente y regresan a su estilo anterior de juicio cuando desaparece el apoyo, el sistema puede estar funcionando más como una ayuda externa que como formación de capacidades. Ninguna de las dos cosas es intrínsecamente mala, pero las afirmaciones sobre el efecto deben distinguirlas.
Tampoco puede ignorarse el tiempo de decisión. El apoyo a la metacognición suele requerir comprobaciones adicionales. Si la exactitud mejora solo ligeramente mientras el tiempo aumenta de forma considerable en tareas sencillas y de bajo riesgo, su valor práctico puede ser limitado. En cambio, en decisiones en las que son posibles pérdidas graves, el tiempo adicional puede ser aceptable. Por tanto, los efectos deben evaluarse no solo por la exactitud, sino en combinación con el riesgo de la tarea, el tiempo y la carga cognitiva.
También debemos examinar la posibilidad de que el apoyo aumente el exceso de confianza. El hecho de que «la IA incluso haya comprobado puntos de vista opuestos» puede proporcionar a los usuarios una tranquilidad excesiva. Incluso cuando un sistema presenta múltiples perspectivas, la información subyacente puede ser errónea o pueden seguir faltando perspectivas importantes. Si la propia existencia del apoyo metacognitivo se interpreta como una garantía de calidad, la función de apoyo se convierte en una nueva autoridad.
A la inversa, un exceso de advertencias puede hacer imposible emitir un juicio. Si la IA presenta cada vez numerosos contraejemplos, incertidumbres y condiciones adicionales, los usuarios pueden sentir continuamente que «todavía no hemos examinado lo suficiente». Por ello, la investigación debe variar no solo la presencia o ausencia de apoyo, sino también la frecuencia y el momento de la intervención. Un método que interviene solo cuando hay indicios de error puede presentar una relación entre exactitud y carga distinta de la de un método que interviene constantemente.
Las condiciones de comparación también son importantes en el diseño experimental. Comparar únicamente el apoyo de la IA con la ausencia de apoyo dificulta separar el efecto de recibir simplemente más información del efecto del apoyo metacognitivo. Las condiciones que proporcionan la misma cantidad de información adicional, que ofrecen únicamente puntos de vista opuestos o que exigen a los participantes enumerar por sí mismos los supuestos pueden ayudar a examinar con mayor detalle qué intervención afecta a qué. Los efectos también pueden diferir según el tipo de tarea y la experiencia de los participantes.
También debemos distinguir el rendimiento del juicio a corto plazo de la formación de capacidades a largo plazo. Si la IA compensa una debilidad en el momento, los resultados inmediatos pueden mejorar. Pero que el uso a largo plazo aumente la capacidad de los propios usuarios para examinar sus juicios o, por el contrario, aumente la dependencia del apoyo externo es una cuestión distinta. Esta diferencia puede estudiarse evaluando a los usuarios sin apoyo después de un uso prolongado y midiendo la transferencia a tareas diferentes.
Al evaluar un diseño como Sai＊aus, que pone énfasis en las actualizaciones de la comprensión, no basta con la autoevaluación de que «el usuario sintió que había pensado más profundamente». Debemos medir en qué condiciones mejoró la detección de errores, si cambió la calibración de la confianza, si la revisión de los supuestos se transfirió a otras tareas y si se preservó la autonomía en el juicio. Al mismo tiempo, es importante no suponer una mejora en todas las situaciones, sino registrar las condiciones en las que los efectos son débiles o adversos.
El valor de una IA que apoya la metacognición no queda establecido únicamente por un principio atractivo. Solo al comprobar cuándo, en qué tareas y según qué medidas la capacidad de reconsiderar el propio pensamiento produce una mejora pueden conectarse las afirmaciones de diseño con los efectos empíricos. Existe una distancia que debe medirse entre que la IA parezca «hacer pensar a las personas» y que el juicio humano mejore realmente. Investigar preservando esa distancia es la cautela que requiere un diseño que afirma apoyar la comprensión.
No respuestas. Comprensión.