Cuando una IA recomienda una opción concreta, preguntar «¿Por qué pensaste eso?» produce una exposición ordenada de razones. Puede decir que se dio prioridad a la condición A, que la opción B tiene una desventaja determinada o que esta elección se ajusta mejor al propósito C. Estas explicaciones son útiles para comparar los fundamentos de un juicio. Pero el hecho de que el texto sea legible y coherente no significa que pueda tratarse como un registro directo del procesamiento que tuvo lugar dentro de la IA hasta producir el resultado.
Incluso entre seres humanos, a veces expresamos en palabras las razones después de haber actuado. Una explicación tiene valor como representación que permite a otra persona examinar un juicio, pero la afirmación explicativa y la causa misma no son idénticas. Con la IA, esta distinción es aún más importante. Una explicación generada es un resultado construido a partir del contexto dado; no es una transcripción completa y legible para los humanos del complejo cálculo interno del modelo.
Eso no exige que concluyamos que «las explicaciones de la IA carecen de sentido». Hay cosas que podemos examinar mediante una explicación: qué supuestos adopta explícitamente, qué condiciones afirma que son importantes, cómo compara alternativas y si reconoce la incertidumbre. Todo ello ofrece pistas para que los humanos examinen el resultado. Lo importante es tratar la explicación no como una «prueba que revela directamente el interior», sino como una «representación externa que puede examinarse».
Esta distinción es especialmente importante en la investigación. Aunque pidamos a una IA que explique las razones de una hipótesis, la explicación por sí sola no demuestra que la hipótesis sea correcta. Debemos comprobar las fuentes originales, las observaciones, las pruebas contrarias y las explicaciones alternativas. La capacidad de una IA para escribir con seguridad es distinta de que existan pruebas suficientes sobre el mundo exterior. No sustituir la solidez de las pruebas por la fluidez de la explicación es el punto de partida de la verificación.
El valor de preguntar «¿por qué?» en el diálogo con una IA no consiste en extraer un proceso interno oculto, sino en transformar un juicio en una forma que los humanos puedan examinar. Si preguntamos «¿Qué información trataste como un hecho?», «¿Dónde están los supuestos?» y «¿Qué cambio alteraría la conclusión?», resulta más fácil identificar los puntos débiles del resultado. No es una manera de comprender por completo el interior de la IA, pero puede aclarar qué necesitan verificar adicionalmente los humanos.
El pensamiento a nivel meta puede utilizarse no solo para observar nuestra propia forma de pensar desde un paso fuera, sino también para reconsiderar lo que creemos haber aprendido sobre la IA. Podemos distinguir entre «ser capaz de explicar una razón» y «ser capaz de observar una causa», entre «plausible» y «respaldado por pruebas verificadas», y entre «coherente» y «correcto». Con esas distinciones, podemos evitar sobrevalorar las explicaciones de la IA y, al mismo tiempo, utilizarlas como material útil para el examen.
Preguntar «¿por qué?» a una IA es importante. Pero también debemos volver a preguntarnos qué clase de respuesta es esa respuesta. Lo que necesitamos no es la ilusión de mirar por completo dentro de la IA, sino material que nos permita verificar un juicio y revisarlo si es necesario. Conocer los límites de una explicación no significa desconfiar de la IA. Significa comprender hasta dónde puede utilizarse una explicación y a partir de qué punto deben encargarse de la comprobación las pruebas externas o el juicio humano.
No respuestas. Comprensión.