Rendere rivalidabili gli obiettivi umani richiede innanzitutto un qualche elemento che inneschi il giudizio secondo cui «la persona è cambiata». Ma questo non è un semplice problema di rilevamento. Le persone possono cambiare ciò che dicono a causa della stanchezza o di un’emozione temporanea, rivedere un giudizio dopo aver ricevuto nuove informazioni oppure attraversare un cambiamento dei valori di più lungo periodo. Se tutti questi fenomeni vengono trattati come lo stesso tipo di cambiamento, l’IA aggiornerà lo stato della persona in modo troppo aggressivo.
Supponiamo che una persona con un obiettivo di apprendimento a lungo termine dica, dopo una giornata di insuccesso: «Non voglio più farlo». Se quella sola affermazione invalida l’obiettivo, uno scoraggiamento temporaneo può essere scambiato per un cambiamento di intenzione a lungo termine. Al contrario, se l’obiettivo originario viene mantenuto anche se per mesi si ripetono affermazioni e azioni che danno priorità a un valore diverso, un cambiamento sostanziale può essere scartato come rumore.
Come minimo, quindi, occorre separare «la reazione osservata», «l’interpretazione della persona stessa», «la persistenza nel tempo» e «le implicazioni per l’obiettivo». Le reazioni osservate comprendono affermazioni, scelte e sensazioni riferite dopo un’azione. L’interpretazione della persona riguarda il modo in cui essa comprende tali reazioni. La persistenza chiede se una tendenza simile rimanga anche al mutare delle condizioni. Le implicazioni per l’obiettivo costituiscono un giudizio distinto sul fatto che questi fattori modifichino effettivamente le ragioni o le assunzioni che sostengono l’obiettivo attuale.
Questa separazione è necessaria perché l’IA non può osservare direttamente lo stato interiore di un essere umano. Può lavorare soltanto con informazioni esteriorizzate in qualche forma, come ciò che la persona verbalizza, le azioni che sceglie e i risultati che condivide. Qualsiasi inferenza da questi elementi secondo cui «i valori della persona sono cambiati» contiene incertezza. Se l’inferenza viene memorizzata come un fatto, il ritratto creato dal sistema stesso può orientare i dialoghi successivi e creare un ciclo di retroazione che rafforza ulteriormente quel ritratto.
Allo stesso tempo, anche una progettazione che tratta tutto come incerto e non aggiorna nulla è insufficiente. Se una persona afferma ripetutamente che ora le cose sono diverse, le sue scelte sono cambiate e le ragioni che sostenevano l’obiettivo precedente non valgono più, quella differenza deve essere riportata nel dialogo. La chiave non è confermare automaticamente il cambiamento, ma rappresentarlo come uno stato che richiede una nuova conferma.
Qui è utile non comprimere il cambiamento in modo eccessivo in un unico numero o attributo. Un’etichetta come «la motivazione è diminuita» non permette di distinguere tra stanchezza, insoddisfazione per il metodo o riduzione dell’interesse per l’obiettivo stesso. La stessa reazione superficiale può avere significati diversi. Per collegarla alla rivalidazione dell’obiettivo, il sistema deve conservare informazioni relazionali su ciò che potrebbe essere cambiato ed essere in grado di scomporle attraverso domande appropriate.
Anche il momento in cui l’IA pone le domande è importante. Se ogni fluttuazione emotiva innesca una messa in discussione dell’obiettivo, il dialogo diventa instabile. Se persino l’accumularsi di cambiamenti evidenti non innesca mai un riesame, il vecchio obiettivo si cristallizza. Inneschi più ragionevoli per la rivalidazione combinano più indizi: una persistente discrepanza tra le ragioni precedenti e le scelte attuali, il venir meno di un’importante assunzione attraverso l’esperienza nel mondo reale oppure un cambiamento esplicito nel giudizio di valore dichiarato dalla persona.
Anche quando diversi indizi convergono, l’IA non deve necessariamente formulare la dichiarazione definitiva che «la persona è cambiata». Può invece presentare la differenza: «In precedenza aveva scelto questo obiettivo per questa ragione, ma nelle esperienze recenti sembra attribuire maggiore peso a un altro valore. Come interpreta questa differenza?». In questo modo si preserva meglio la capacità di agire della persona. Lo scopo del rilevamento non è fissare definitivamente un ritratto della persona, ma creare uno stato in cui la persona possa esaminare il proprio cambiamento.
Questo confine è importante per la comprensione dell’essere umano in Sai＊aus. Se l’IA non è in grado di gestire il cambiamento umano, la comprensione a lungo termine diventa una fissazione sul passato. Se l’IA afferma il cambiamento con eccessiva forza, confina la persona entro l’inferenza del sistema. Ciò che serve è preservare i segnali di cambiamento, distinguere l’inferenza dalla comprensione che la persona ha di sé e trasformare la differenza in una domanda di rivalidazione.
Non esiste un singolo punto in cui l’IA dovrebbe «rilevare» che un essere umano è cambiato. Né una reazione successiva a un’azione né un cambiamento nelle parole sono sufficienti da soli. La possibilità di cambiamento deve essere gestita gradualmente considerando il contatto con la realtà, l’interpretazione della persona, la persistenza nel tempo e la relazione con le ragioni che sostenevano l’obiettivo precedente. L’IA non ha bisogno della capacità di pronunciarsi correttamente sullo stato interiore di una persona. Ha bisogno di rappresentazioni e strutture di dialogo che non confermino eccessivamente il cambiamento né lo trascurino.
Non risposte. Comprensione.