Dans la résolution de problèmes avec l’IA, les améliorations locales peuvent progresser très rapidement. Des objectifs tels que raccourcir un texte, réduire les coûts, diminuer le temps de traitement ou classer des candidats sont relativement faciles à formuler explicitement et peuvent être optimisés de manière itérative. Pourtant, l’amélioration d’un objectif local ne garantit pas un rapprochement avec un objectif de niveau supérieur. Si l’objectif initial était de « réduire la charge de l’utilisateur », mais que l’évaluation finit par se concentrer uniquement sur la « minimisation du nombre d’opérations », le nombre d’opérations peut diminuer tandis que la difficulté de compréhension augmente.
Pour détecter ce problème, il ne suffit pas de conserver simplement l’objectif sous la forme d’une phrase issue du début du dialogue. Il faut maintenir distincts l’objectif de niveau supérieur, la question actuelle, les contraintes en vigueur, les métriques d’évaluation et la sortie générée, en tenant compte de leurs relations mutuelles. Quelle partie de l’objectif de niveau supérieur la question actuelle traite-t-elle ? La métrique d’évaluation constitue-t-elle un indicateur indirect valable de l’objectif ? Une contrainte ajoutée en cours de route a-t-elle altéré l’objectif ? La dérive de l’objectif apparaît moins comme une erreur dans un élément isolé que comme une modification des relations entre les éléments.
Cependant, tout éloignement de l’objectif initial ne doit pas être jugé anormal. De nouveaux faits peuvent apparaître au cours du dialogue, et l’utilisateur peut légitimement modifier l’objectif. Par exemple, un plan peut commencer avec l’objectif de « se déplacer dans le temps le plus court possible », puis, après l’apparition de nouvelles informations relatives à la sécurité, évoluer vers « privilégier la sécurité même si cela prend un peu plus de temps ». Dans ce cas, il existe bien une différence par rapport à l’objectif initial, mais il ne s’agit pas d’un échec ; c’est le résultat d’une mise à jour de la compréhension.
Ce qu’il faut donc détecter n’est pas une simple différence, mais le chemin par lequel l’objectif a changé. Il faut distinguer si le changement a été explicitement approuvé, justifié par de nouvelles informations ou implicitement substitué au fil de la poursuite d’une métrique facile à mesurer. L’IA peut montrer les différences par rapport au dialogue antérieur et signaler : « La sécurité était initialement une condition, mais la comparaison actuelle ne prend en compte que le coût. » Toutefois, la décision d’accepter ou non ce changement revient à l’utilisateur.
Un mécanisme de détection de la dérive de l’objectif se heurte également au problème des fausses alertes. Les objectifs humains ne peuvent pas toujours être exprimés en une seule phrase claire, et plusieurs valeurs peuvent coexister en tension. Si l’IA signale chaque légère différence de formulation comme un changement d’objectif, le dialogue finit par être dominé par les confirmations. À l’inverse, si la sensibilité est trop faible, des changements importants dans les critères de valeur peuvent passer inaperçus. Il faut mettre l’accent non sur la correspondance des mots, mais sur les différences susceptibles de modifier le résultat du jugement.
Comme principe de mise en œuvre, il est utile de retracer à intervalles réguliers, en sens inverse, la relation entre l’objectif et les moyens. Au lieu de demander seulement : « Cette sortie répond-elle à la question actuelle ? », nous revenons à : « À quel objectif cette question contribue-t-elle ? » et « Sur quels fondements repose l’attente selon laquelle l’amélioration de ce critère d’évaluation améliorera également l’objectif de niveau supérieur ? » Cette vérification à rebours permet de séparer l’évaluation de la qualité de la sortie de l’évaluation de son adéquation à l’objectif.
Il existe ici un espace où la réflexion humaine au niveau méta et le soutien de l’IA peuvent se rejoindre. Les humains assument le sens et la valeur des objectifs, mais, au cours d’un long dialogue, ils peuvent oublier des conditions antérieures ou voir leur attention captée par le chiffre qui se trouve devant eux. L’IA peut aider à compenser ces omissions en comparant l’historique et en rendant visibles les conditions qui ont changé. Dans le même temps, l’IA elle-même s’adapte fortement au contexte actuel ; confier entièrement à l’IA la préservation de l’objectif n’est donc pas nécessairement suffisant. La vérification de l’objectif doit être conçue comme une opération distincte.
La capacité à détecter une dérive de l’objectif n’est pas la capacité de l’IA à connaître le « véritable objectif ». Les objectifs humains peuvent se former au fil du dialogue, et des objectifs contradictoires peuvent coexister. Ce que l’IA peut faire, par conséquent, c’est montrer les incohérences qui apparaissent entre les objectifs déclarés, les questions actuelles, les critères d’évaluation et les sorties, puis inviter à les réexaminer. L’important n’est pas d’inférer et de figer l’objectif, mais de rendre la possibilité que l’objectif ait changé accessible à l’examen humain.
Dans cette perspective, une IA plus performante ne rend pas inutile la vérification de l’objectif. Au contraire, plus l’optimisation locale devient rapide et plus des sorties convaincantes peuvent être produites à grande échelle, plus une dérive de direction peut devenir difficile à remarquer. Plutôt que d’affaiblir les capacités de l’IA au nom de la sécurité, il nous faut une autre couche dans laquelle la direction prise par ces capacités puisse être examinée. La conception doit faire circuler ensemble la vitesse et la vérification de la direction, au lieu de les traiter comme des opposés.
Demander « dans quel but ? » n’est pas une simple technique de questionnement. Lorsque les humains et l’IA explorent ensemble, c’est une opération permettant de vérifier si la question actuelle reste reliée à l’objectif de niveau supérieur. Plutôt que de laisser l’objectif, la question et la sortie circuler dans une seule direction, il faut disposer d’un chemin de retour de la sortie vers la question, puis de la question vers l’objectif. Avec ce cycle, l’IA peut non seulement accélérer les méthodes, mais aussi aider les humains à découvrir si les méthodes ont laissé l’objectif derrière elles.
Pas des réponses. De la compréhension.