Nella risoluzione dei problemi con l’IA, i miglioramenti locali possono procedere molto rapidamente. Obiettivi come abbreviare un testo, ridurre i costi, diminuire il tempo di elaborazione o ordinare i candidati sono relativamente facili da formulare in modo esplicito e possono essere ottimizzati iterativamente. Tuttavia, il miglioramento di un obiettivo locale non garantisce un avvicinamento a uno scopo di livello superiore. Se lo scopo iniziale era «ridurre il carico dell’utente», ma la valutazione finisce gradualmente per concentrarsi soltanto sul «minimizzare il numero di operazioni», il numero di operazioni può diminuire mentre aumenta la difficoltà di comprensione.
Per rilevare questo problema, non basta conservare semplicemente lo scopo come una frase dell’inizio del dialogo. Lo scopo di livello superiore, la domanda attuale, i vincoli attivi, le metriche di valutazione e il risultato generato devono essere mantenuti distinti in base alle relazioni che intercorrono tra loro. Quale parte dello scopo di livello superiore affronta la domanda attuale? La metrica di valutazione è un indicatore sostitutivo valido dello scopo? Un vincolo aggiunto lungo il percorso ha alterato lo scopo? La deriva dello scopo si manifesta meno come errore in un singolo elemento che come cambiamento nelle relazioni tra gli elementi.
Tuttavia, non ogni allontanamento dallo scopo iniziale deve essere giudicato anomalo. Nel corso del dialogo possono emergere nuovi fatti e l’utente può legittimamente modificare lo scopo. Per esempio, un piano può iniziare con lo scopo di «viaggiare nel minor tempo possibile», ma, dopo aver appreso nuove informazioni sulla sicurezza, può cambiare in «dare priorità alla sicurezza anche se richiede un po’ più di tempo». In questo caso esiste una differenza rispetto allo scopo iniziale, ma non si tratta di un fallimento: è il risultato di un aggiornamento della comprensione.
Ciò che va rilevato, quindi, non è una semplice differenza, ma il percorso attraverso cui lo scopo è cambiato. Occorre distinguere se il cambiamento sia stato approvato esplicitamente, giustificato da nuove informazioni oppure sostituito implicitamente mentre si perseguiva una metrica facilmente misurabile. L’IA può mostrare le differenze rispetto al dialogo precedente e segnalare: «In origine la sicurezza era una condizione, ma il confronto attuale utilizza soltanto il costo». Tuttavia, spetta all’utente giudicare se tale cambiamento sia accettabile.
Un meccanismo per rilevare la deriva dello scopo deve affrontare anche il problema dei falsi allarmi. Gli scopi umani non possono sempre essere espressi in un’unica frase chiara e più valori possono trovarsi in tensione tra loro. Se l’IA segnala ogni lieve differenza di formulazione come un cambiamento di scopo, il dialogo finisce per essere dominato dalle conferme. Se invece la sensibilità è troppo bassa, possono sfuggire cambiamenti importanti nei criteri di valore. È necessario porre l’accento non sulla corrispondenza delle parole, ma sulle differenze capaci di modificare l’esito del giudizio.
Come principio di implementazione, è utile ripercorrere a intervalli regolari e a ritroso la relazione tra scopo e mezzi. Invece di chiedere soltanto «Questo risultato risponde alla domanda attuale?», torniamo a «A quale scopo contribuisce questa domanda?» e «Quali basi sostengono l’aspettativa che il miglioramento di questo criterio di valutazione migliori anche lo scopo di livello superiore?». Questa verifica a ritroso consente di separare la valutazione della qualità del risultato dalla valutazione della sua adeguatezza allo scopo.
Qui vi è spazio per collegare il pensiero umano a livello meta e il supporto dell’IA. Gli esseri umani si fanno carico del significato e del valore degli scopi, ma nel corso di un lungo dialogo possono dimenticare condizioni precedenti o lasciare che la loro attenzione venga catturata dal numero che hanno davanti. L’IA può contribuire a compensare tali omissioni confrontando la cronologia e rendendo visibili le condizioni cambiate. Allo stesso tempo, anche l’IA si adatta fortemente al contesto attuale, perciò affidare interamente all’IA la conservazione dello scopo non è necessariamente sufficiente. La verifica dello scopo deve essere progettata come un’operazione distinta.
La capacità di rilevare una deriva dello scopo non equivale alla capacità dell’IA di conoscere il «vero scopo». Gli scopi umani possono formarsi attraverso il dialogo e possono coesistere scopi in conflitto. Ciò che l’IA può fare, quindi, è mostrare le incoerenze che emergono tra gli scopi dichiarati, le domande attuali, i criteri di valutazione e i risultati, e sollecitare un riesame. Ciò che conta non è inferire e fissare lo scopo, ma rendere la possibilità che lo scopo sia cambiato disponibile all’esame umano.
Da questa prospettiva, un’IA più capace non rende superflua la verifica dello scopo. Al contrario, quanto più rapida diventa l’ottimizzazione locale e quanto più numerosi risultati persuasivi possono essere generati su larga scala, tanto più difficile può diventare notare una deriva della direzione. Invece di indebolire le capacità dell’IA per ragioni di sicurezza, abbiamo bisogno di un ulteriore livello in cui possa essere esaminata la direzione di tali capacità. La progettazione dovrebbe mettere in circolo sia la velocità sia la verifica della direzione, anziché trattarle come opposte.
Chiedere «a quale scopo?» non è soltanto una tecnica di interrogazione. Quando esseri umani e IA esplorano insieme, è un’operazione per verificare se la domanda attuale rimane collegata allo scopo di livello superiore. Invece di lasciare che scopo, domanda e risultato fluiscano soltanto in una direzione, occorre avere un percorso di ritorno dal risultato alla domanda e dalla domanda allo scopo. Con questo ciclo, l’IA può non solo accelerare i metodi, ma anche aiutare gli esseri umani a scoprire se i metodi hanno lasciato indietro lo scopo.
Non risposte. Comprensione.