Lorsqu’une IA recommande une option particulière, demander « Pourquoi as-tu pensé cela ? » produit une présentation structurée des raisons. Elle peut indiquer que la condition A a été privilégiée, que l’option B présente un inconvénient particulier ou que ce choix convient mieux à l’objectif C. De telles explications sont utiles pour comparer les éléments sur lesquels repose un jugement. Mais le fait que le texte soit lisible et cohérent ne signifie pas qu’il puisse être considéré comme un relevé direct du traitement qui s’est déroulé à l’intérieur de l’IA jusqu’à la production du résultat.
Même entre humains, il nous arrive de mettre des raisons en mots après avoir agi. Une explication a de la valeur en tant que représentation permettant à une autre personne d’examiner un jugement, mais l’énoncé explicatif et la cause elle-même ne sont pas identiques. Avec l’IA, cette distinction est encore plus importante. Une explication générée est un résultat construit à partir du contexte fourni ; ce n’est pas une transcription complète, lisible par un humain, du calcul interne complexe du modèle.
Cela ne nous oblige pas à conclure que « les explications de l’IA n’ont aucun sens ». Une explication permet d’examiner certains éléments : les hypothèses qu’elle adopte explicitement, les conditions qu’elle présente comme importantes, la manière dont elle compare les solutions possibles et le fait qu’elle reconnaisse ou non l’incertitude. Ces éléments donnent aux humains des indices pour examiner le résultat. L’important est de traiter l’explication non comme une « preuve qui révèle directement l’intérieur », mais comme une « représentation externe qui peut être examinée ».
Cette distinction est particulièrement importante dans la recherche. Même si nous demandons à une IA d’expliquer les raisons d’une hypothèse, cette explication ne prouve pas à elle seule que l’hypothèse est correcte. Nous devons vérifier les sources originales, les observations, les éléments de preuve contraires et les explications alternatives. La capacité d’une IA à écrire avec assurance est distincte de la question de savoir s’il existe des éléments de preuve suffisants concernant le monde extérieur. Ne pas substituer la fluidité de l’explication à la solidité des éléments de preuve constitue le point de départ de la vérification.
L’intérêt de demander « pourquoi ? » dans un dialogue avec une IA n’est pas d’en extraire un processus interne caché, mais de transformer un jugement en une forme que les humains peuvent examiner. Si nous demandons « Quelles informations as-tu considérées comme des faits ? », « Où se trouvent les hypothèses ? » et « Quel changement modifierait la conclusion ? », il devient plus facile d’identifier les points faibles du résultat. Ce n’est pas une méthode permettant de comprendre complètement l’intérieur de l’IA, mais elle peut clarifier ce que les humains doivent vérifier en plus.
La réflexion à un niveau méta peut servir non seulement à observer notre propre manière de penser avec un certain recul, mais aussi à réexaminer ce que nous croyons avoir appris sur l’IA. Nous pouvons distinguer « être capable d’expliquer une raison » de « pouvoir observer une cause », « plausible » de « étayé par des éléments de preuve vérifiés », et « cohérent » de « correct ». Grâce à ces distinctions, nous pouvons éviter de surévaluer les explications de l’IA tout en les utilisant comme éléments utiles à examiner.
Demander « pourquoi ? » à une IA est important. Mais nous devons aussi nous demander de nouveau à quel type de question cette réponse répond réellement. Ce dont nous avons besoin, ce n’est pas de l’illusion de pouvoir regarder complètement à l’intérieur de l’IA, mais d’éléments qui nous permettent de vérifier un jugement et de le réviser si nécessaire. Connaître les limites d’une explication ne signifie pas se méfier de l’IA. Cela signifie comprendre jusqu’où une explication peut être utilisée et à partir de quel point les éléments de preuve externes ou le jugement humain doivent prendre le relais de la vérification.
Pas des réponses. De la compréhension.