L’ottimizzazione è potente quando l’obiettivo è chiaro. Una volta stabilite le condizioni — ridurre il tempo di viaggio, contenere i costi o diminuire il carico di lavoro mantenendo un determinato livello di qualità — l’IA può confrontare molte opzioni. Ma nelle decisioni umane importanti, l’obiettivo stesso potrebbe non essere unico né definito. Una persona può voler aumentare il proprio reddito proteggendo al tempo stesso il tempo trascorso con la famiglia, oppure perseguire la crescita senza aumentare il peso sulla propria salute. In tali situazioni, il rapporto tra i valori deve essere considerato prima che inizi l’ottimizzazione.
Il problema non consiste nel convertire più valori in numeri. Assegnare pesi per il confronto può essere utile. Ma quando non è più chiaro chi abbia stabilito quei pesi e perché, la formazione dell’obiettivo si trasforma in una mera condizione di calcolo. Per esempio, se fin dall’inizio viene impostato un parametro che attribuisce un valore elevato al reddito, l’IA può formulare raccomandazioni coerenti in base a quella condizione. Anche in questo caso, però, non si può dedurre dalla correttezza del calcolo se la persona desideri davvero dare priorità al reddito sopra ogni altra cosa.
Per esseri umani finiti, questa differenza è importante. Se potessimo ricominciare la vita più volte dopo aver impostato l’obiettivo sbagliato, potremmo forse scegliere in seguito la ponderazione che ha prodotto il risultato migliore. Nella realtà, tuttavia, una parte del tempo impiegato e delle opportunità perse a causa di una scelta non ritorna. «Che cosa dovrebbe essere ottimizzato?» non è quindi semplicemente una fase tecnica di pre-elaborazione; è parte del giudizio su ciò per cui una persona utilizzerà il proprio tempo finito.
Come supporto al pensiero, l’IA può rendere visibili i conflitti all’interno di un obiettivo invece di fissare autonomamente l’obiettivo. Può mostrare che cosa cambia quando viene data priorità a un valore e come cambia la graduatoria delle opzioni quando viene attribuito maggiore peso a un altro valore. Attraverso domande, può anche verificare se ciò che in superficie appare come un singolo obiettivo contenga in realtà molteplici desideri. Tali confronti possono aiutare una persona a comprendere che cosa sta cercando di scegliere prima di ridurre il problema a un unico ottimo.
In questo caso, porre domande non deve diventare un fine in sé. Se l’obiettivo è chiaro e la scelta è facilmente reversibile, fermarsi ogni volta renderebbe invece il supporto gravoso. Ciò che conta è individuare le situazioni in cui l’ambiguità dell’obiettivo potrebbe cambiare la conclusione, più valori entrano in conflitto o la scelta è altamente irreversibile. Una domanda non è un’opposizione alla rapidità; è un mezzo necessario quando l’obiettivo non è ancora stato formato come qualcosa che l’essere umano possa riconoscere come proprio.
Per Sai＊aus, è qui che ottimizzazione e comprensione si incontrano. Anche se l’IA trova un mezzo eccellente, un’elevata efficienza non implica necessariamente un risultato desiderabile se l’essere umano non comprende l’obiettivo verso cui quel mezzo è diretto. Il livello che confronta i mezzi e quello che esamina ciò che conta non dovrebbero quindi essere confusi. Le capacità dell’IA possono essere utilizzate come materiale per formare gli obiettivi, preservando al contempo una struttura nella quale gli esseri umani possano assumersi la responsabilità della priorità assegnata ai valori.
Decidere «che cosa conta» prima dell’ottimizzazione non significa che una persona debba sempre pensare da sola e in isolamento. Le persone formano i valori nelle relazioni con gli altri e nell’ambito delle responsabilità sociali. Anche l’IA può sostenere tale esame. Tuttavia, ciò che è diventato calcolabile non è necessariamente ciò che dovrebbe essere delegato. Il supporto al pensiero dovrebbe preservare la condizione per cui agenti finiti possano comprendere ciò a cui le loro scelte danno priorità e ciò a cui rinunciano, e quindi utilizzare l’ottimizzazione senza cancellare il giudizio umano.
Non risposte. Comprensione.