Quando un’IA raccomanda una determinata opzione, chiedere «Perché hai pensato questo?» produce un’esposizione organizzata delle ragioni. Può dire che è stata data priorità alla condizione A, che l’opzione B presenta un particolare svantaggio o che questa scelta è più adatta allo scopo C. Spiegazioni di questo tipo sono utili per confrontare gli elementi su cui si basa un giudizio. Ma il fatto che il testo sia leggibile e coerente non significa che possa essere trattato come una registrazione diretta dell’elaborazione avvenuta all’interno dell’IA nel percorso che ha portato alla produzione dell’output.
Anche tra esseri umani, a volte esprimiamo a parole le ragioni dopo aver agito. Una spiegazione ha valore come rappresentazione che consente a un’altra persona di esaminare un giudizio, ma l’enunciato esplicativo e la causa stessa non sono identici. Con l’IA, questa distinzione è ancora più importante. Una spiegazione generata è un output costruito a partire dal contesto fornito; non è una trascrizione completa e leggibile per gli esseri umani del complesso calcolo interno del modello.
Questo non ci impone di concludere che «le spiegazioni dell’IA siano prive di significato». Ci sono aspetti che possiamo esaminare attraverso una spiegazione: quali assunzioni adotta esplicitamente, quali condizioni dichiara importanti, come confronta le alternative e se riconosce l’incertezza. Questi elementi forniscono agli esseri umani indizi per esaminare l’output. Ciò che conta è trattare la spiegazione non come una «prova che rivela direttamente l’interno», ma come una «rappresentazione esterna che può essere esaminata».
Questa distinzione è particolarmente importante nella ricerca. Anche se chiediamo a un’IA di spiegare le ragioni di un’ipotesi, la spiegazione da sola non dimostra che l’ipotesi sia corretta. Dobbiamo verificare le fonti originali, le osservazioni, le prove contrarie e le spiegazioni alternative. La capacità di un’IA di scrivere con sicurezza è distinta dalla presenza di prove sufficienti sul mondo esterno. Non sostituire la solidità delle prove con la scorrevolezza della spiegazione è il punto di partenza della verifica.
Il valore di chiedere «perché?» nel dialogo con un’IA non consiste nell’estrarre un processo interno nascosto, ma nel trasformare un giudizio in una forma che gli esseri umani possano esaminare. Se chiediamo «Quali informazioni hai trattato come fatti?», «Dove sono le assunzioni?» e «Quale cambiamento modificherebbe la conclusione?», diventa più facile individuare i punti deboli dell’output. Questo non è un modo per comprendere completamente l’interno dell’IA, ma può chiarire che cosa gli esseri umani devono verificare ulteriormente.
Il pensiero a livello meta può essere usato non solo per osservare il nostro modo di pensare da un passo all’esterno, ma anche per riconsiderare ciò che crediamo di aver appreso sull’IA. Possiamo distinguere «essere in grado di spiegare una ragione» da «essere in grado di osservare una causa», «plausibile» da «sostenuto da prove verificate» e «coerente» da «corretto». Con queste distinzioni possiamo evitare di sopravvalutare le spiegazioni dell’IA, continuando al tempo stesso a usarle come materiale utile da esaminare.
Chiedere «perché?» a un’IA è importante. Ma dobbiamo anche chiederci di nuovo a quale tipo di domanda stia rispondendo quella risposta. Ciò di cui abbiamo bisogno non è l’illusione di guardare completamente all’interno dell’IA, ma materiale che ci permetta di verificare un giudizio e di rivederlo se necessario. Conoscere i limiti di una spiegazione non significa diffidare dell’IA. Significa capire fino a che punto una spiegazione può essere utilizzata e da quale punto in poi la verifica debba essere affidata a prove esterne o al giudizio umano.
Non risposte. Comprensione.