Lorsque nous demandons à l’IA de « montrer les présupposés que je pourrais négliger », de « donner des points de vue opposés » ou de « distinguer les points sur lesquels tu ne peux pas être certaine », nous obtenons des éléments permettant de réexaminer un jugement en prenant du recul. On peut attendre de telles fonctions qu’elles soutiennent la métacognition. Pourtant, le simple fait d’avoir lu de nombreux points de vue ou d’avoir le sentiment d’être devenu plus prudent n’établit pas que la capacité de jugement s’est améliorée. Si nous évaluons cela dans le cadre d’une recherche, nous devons définir à l’avance quels changements produits par le soutien compteront comme une « amélioration ».
Une première mesure est la calibration. La calibration concerne le degré de correspondance entre l’exactitude d’un jugement et le niveau de confiance de la personne. Être très confiant lorsque l’on a raison et pouvoir réduire sa confiance lorsque l’on se trompe peut être préférable au simple fait d’avoir une forte confiance. Si l’IA présente des contre-exemples et de l’incertitude et que le seul résultat est que les utilisateurs perdent confiance en tout, il ne s’agit pas nécessairement d’une amélioration. Ce qui importe est de savoir si la confiance en vient à correspondre plus adéquatement à la solidité des éléments probants.
Une deuxième mesure est la détection des erreurs. Nous pouvons comparer la capacité des utilisateurs bénéficiant d’un soutien de l’IA à repérer des présupposés erronés, des contradictions et des éléments probants insuffisants dans leur propre raisonnement ou dans les productions de l’IA. Toutefois, si l’IA leur indique directement où se trouve l’erreur, l’amélioration des performances n’a rien de surprenant. Pour évaluer le soutien à la métacognition, nous devons distinguer les conditions dans lesquelles la réponse est fournie de celles dans lesquelles seules des perspectives d’examen sont proposées. En observant si les utilisateurs peuvent détecter des erreurs dans d’autres problèmes après avoir reçu le soutien, nous pouvons examiner la différence entre une amélioration du jugement et une simple dépendance aux réponses.
Un troisième enjeu est le transfert. Si des personnes qui reçoivent, pour une tâche, un soutien les invitant à « vérifier les présupposés » commencent ensuite à vérifier spontanément les présupposés dans un autre domaine, le soutien a dépassé l’amélioration temporaire de la performance à la tâche. À l’inverse, si elles ne deviennent prudentes qu’en présence de l’IA et reviennent à leur mode de jugement antérieur lorsque le soutien disparaît, le système fonctionne peut-être davantage comme une aide externe que comme un moyen de développer des capacités. Ni l’un ni l’autre n’est mauvais en soi, mais les affirmations concernant l’effet doivent les distinguer.
Le temps de décision ne peut pas non plus être ignoré. Le soutien à la métacognition exige souvent des vérifications supplémentaires. Si l’exactitude ne s’améliore que légèrement tandis que le temps augmente fortement pour des tâches simples et à faible risque, sa valeur pratique peut être limitée. En revanche, dans les décisions où des pertes importantes sont possibles, un temps supplémentaire peut être acceptable. Les effets doivent donc être évalués non seulement par l’exactitude, mais aussi en combinaison avec le risque de la tâche, le temps et la charge cognitive.
Nous devons également examiner la possibilité que le soutien accroisse l’excès de confiance. Le fait que « l’IA ait même vérifié les points de vue opposés » peut donner aux utilisateurs un sentiment de sécurité excessif. Même lorsqu’un système présente plusieurs perspectives, les informations sous-jacentes peuvent être erronées ou des perspectives importantes peuvent encore manquer. Si l’existence même d’un soutien métacognitif est considérée comme une garantie de qualité, la fonction de soutien devient une nouvelle autorité.
À l’inverse, des avertissements excessifs peuvent rendre le jugement impossible. Si l’IA présente à chaque fois de nombreux contre-exemples, incertitudes et conditions supplémentaires, les utilisateurs peuvent continuellement avoir le sentiment que « nous n’avons pas encore suffisamment examiné la question ». La recherche doit donc faire varier non seulement la présence ou l’absence de soutien, mais aussi la fréquence et le moment de l’intervention. Une méthode qui n’intervient que lorsqu’il existe des signes d’erreur peut présenter une relation différente entre exactitude et charge par rapport à une méthode qui intervient constamment.
Les conditions de comparaison sont également importantes dans la conception expérimentale. Comparer uniquement le soutien de l’IA à l’absence de soutien rend difficile la séparation entre l’effet du simple apport d’informations supplémentaires et celui du soutien métacognitif. Des conditions qui fournissent la même quantité d’informations supplémentaires, qui ne présentent que des points de vue opposés ou qui demandent aux participants d’énumérer eux-mêmes les présupposés peuvent aider à examiner plus précisément quelle intervention agit sur quoi. Les effets peuvent également différer selon le type de tâche et l’expérience des participants.
Nous devons également distinguer la performance de jugement à court terme du développement des capacités à long terme. Si l’IA compense une faiblesse sur le moment, les résultats immédiats peuvent s’améliorer. Mais la question de savoir si une utilisation à long terme accroît la capacité propre des utilisateurs à examiner leurs jugements ou augmente au contraire leur dépendance à un soutien externe est différente. Cette différence peut être étudiée en évaluant les utilisateurs sans soutien après une utilisation prolongée et en mesurant le transfert à d’autres tâches.
Lorsqu’on évalue une conception telle que Sai＊aus, qui met l’accent sur la mise à jour de la compréhension, l’auto-évaluation selon laquelle « l’utilisateur a eu le sentiment d’avoir réfléchi plus profondément » ne suffit pas. Nous devons mesurer dans quelles conditions la détection des erreurs s’est améliorée, si la calibration de la confiance a changé, si la révision des présupposés s’est transférée à d’autres tâches et si l’autonomie dans le jugement a été préservée. En même temps, il est important de ne pas supposer une amélioration dans toutes les situations, mais de consigner les conditions dans lesquelles les effets sont faibles ou défavorables.
La valeur d’une IA qui soutient la métacognition n’est pas établie par un principe séduisant à lui seul. Ce n’est qu’en vérifiant quand, pour quelles tâches et selon quelles mesures la capacité à réexaminer sa propre pensée produit une amélioration que les affirmations de conception peuvent être reliées aux effets empiriques. Il existe une distance qu’il faut mesurer entre une IA qui semble « faire réfléchir les gens » et une amélioration réelle du jugement humain. Mener la recherche tout en préservant cette distance constitue la prudence requise d’une conception qui affirme soutenir la compréhension.
Pas des réponses. La compréhension.