L’optimisation est puissante lorsque l’objectif est clair. Une fois les conditions fixées — réduire le temps de trajet, diminuer les coûts ou réduire la charge de travail tout en maintenant un certain niveau de qualité —, l’IA peut comparer de nombreuses options. Mais dans les décisions humaines importantes, l’objectif lui-même peut ne pas être unique ni arrêté. Une personne peut vouloir augmenter ses revenus tout en préservant le temps passé avec sa famille, ou chercher à progresser sans accroître la charge qui pèse sur sa santé. Dans de telles situations, il faut examiner les relations entre les valeurs avant de commencer l’optimisation.
Le problème ne réside pas dans le fait de convertir plusieurs valeurs en nombres. Attribuer des pondérations à des fins de comparaison peut être utile. Mais lorsque l’on ne sait plus clairement qui a fixé ces pondérations ni pourquoi, la formation de l’objectif devient une simple condition de calcul. Par exemple, si l’on définit dès le départ un paramètre accordant une forte valeur au revenu, l’IA peut formuler des recommandations cohérentes selon cette condition. Même alors, la question de savoir si la personne souhaite réellement donner la priorité au revenu par-dessus tout ne peut pas être déduite de la justesse du calcul.
Pour des humains finis, cette différence est importante. Si nous pouvions recommencer notre vie à plusieurs reprises après avoir fixé le mauvais objectif, nous pourrions peut-être choisir ensuite la pondération qui a produit le meilleur résultat. En réalité, toutefois, une partie du temps consacré à un choix et certaines occasions perdues ne reviennent pas. « Que faut-il optimiser ? » n’est donc pas une simple étape technique de prétraitement ; cela fait partie du jugement portant sur l’usage qu’une personne fera de son temps fini.
Pour soutenir la réflexion, l’IA peut rendre visibles les conflits internes à un objectif plutôt que de fixer elle-même cet objectif. Elle peut montrer ce qui change lorsqu’une valeur est prioritaire et comment le classement des options évolue lorsqu’une autre valeur reçoit davantage de poids. Par ses questions, elle peut aussi vérifier si ce qui semble en surface constituer un objectif unique contient en réalité plusieurs aspirations. De telles comparaisons peuvent aider une personne à comprendre ce qu’elle cherche à choisir avant de réduire le problème à un optimum unique.
Ici, poser des questions ne doit pas devenir une fin en soi. Si l’objectif est clair et que le choix est facilement réversible, s’arrêter à chaque fois rendrait au contraire l’aide pesante. Ce qui importe, c’est d’identifier les situations dans lesquelles l’ambiguïté de l’objectif pourrait modifier la conclusion, plusieurs valeurs entrent en conflit ou le choix est fortement irréversible. Une question ne s’oppose pas à la rapidité ; elle constitue un moyen nécessaire lorsque l’objectif n’a pas encore été formé comme quelque chose que l’humain peut reconnaître comme sien.
Pour Sai＊aus, c’est ici que l’optimisation et la compréhension se rejoignent. Même si l’IA trouve un excellent moyen, une grande efficacité n’implique pas nécessairement un résultat souhaitable si l’humain ne comprend pas l’objectif vers lequel ce moyen est dirigé. Il ne faut donc pas confondre le niveau qui compare les moyens et celui qui examine ce qui compte. Les capacités de l’IA peuvent servir de matériau à la formation des objectifs tout en préservant une structure dans laquelle les humains peuvent assumer la responsabilité de la priorité accordée aux valeurs.
Décider de « ce qui compte » avant l’optimisation ne signifie pas qu’une personne doive toujours réfléchir seule et isolée. Les personnes forment leurs valeurs dans leurs relations avec les autres et dans le cadre de responsabilités sociales. L’IA peut également soutenir cet examen. Même ainsi, ce qui est devenu calculable n’est pas nécessairement ce qui devrait être délégué. Le soutien à la réflexion devrait préserver la condition selon laquelle des agents finis peuvent comprendre ce que leurs choix privilégient et ce à quoi ils renoncent, puis utiliser l’optimisation sans effacer le jugement humain.
Pas des réponses. De la compréhension.