Bij probleemoplossing met AI kunnen lokale verbeteringen zeer snel verlopen. Doelen zoals tekst inkorten, kosten verlagen, verwerkingstijd verminderen of kandidaten rangschikken zijn relatief eenvoudig expliciet te formuleren en kunnen iteratief worden geoptimaliseerd. Toch garandeert verbetering van een lokaal doel geen beweging in de richting van een hoger doel. Als het oorspronkelijke doel was ‘de belasting voor de gebruiker verminderen’, maar de beoordeling zich geleidelijk uitsluitend richt op ‘het aantal handelingen minimaliseren’, kan het aantal handelingen afnemen terwijl de begrijpelijkheid verslechtert.
Om dit probleem te detecteren, is het niet voldoende om het doel simpelweg te bewaren als een zin uit het begin van de dialoog. Het hogere doel, de huidige vraag, de geldende beperkingen, de beoordelingsmaatstaven en de gegenereerde uitvoer moeten van elkaar onderscheiden worden bijgehouden wat betreft hun onderlinge relaties. Welk deel van het hogere doel behandelt de huidige vraag? Is de beoordelingsmaatstaf een geldige indicator voor het doel? Heeft een onderweg toegevoegde beperking het doel veranderd? Een afwijking van het doel manifesteert zich minder als een fout in één afzonderlijk element dan als een verandering in de relaties tussen elementen.
Niet elke afwijking van het oorspronkelijke doel moet echter als abnormaal worden beoordeeld. Tijdens de dialoog kunnen nieuwe feiten naar voren komen en de gebruiker kan het doel terecht wijzigen. Een plan kan bijvoorbeeld beginnen met het doel ‘in de kortst mogelijke tijd reizen’, maar na nieuwe veiligheidsinformatie veranderen in ‘veiligheid prioriteit geven, ook als het iets langer duurt’. In dat geval is er een verschil met het oorspronkelijke doel, maar dat is geen mislukking; het is het resultaat van een bijstelling van het begrip.
Wat daarom moet worden gedetecteerd, is niet het simpele verschil, maar het traject waarlangs het doel is veranderd. We moeten onderscheiden of de verandering expliciet is goedgekeurd, door nieuwe informatie is gerechtvaardigd, of impliciet is vervangen tijdens het nastreven van een gemakkelijk meetbare maatstaf. AI kan verschillen met eerdere dialogen laten zien en erop wijzen: ‘Veiligheid was oorspronkelijk een voorwaarde, maar in de huidige vergelijking wordt alleen naar kosten gekeken.’ Of die verandering aanvaardbaar is, blijft echter aan de gebruiker om te beoordelen.
Een mechanisme voor het detecteren van afwijking van het doel heeft ook te maken met het probleem van valse alarmen. Menselijke doelen kunnen niet altijd in één duidelijke zin worden uitgedrukt en meerdere waarden kunnen op gespannen voet met elkaar staan. Als AI bij elk klein verschil in formulering waarschuwt voor een verandering van doel, raakt de dialoog gedomineerd door bevestigingen. Als de gevoeligheid te laag is, kunnen belangrijke veranderingen in waardecriteria worden gemist. Nodig is een nadruk niet op overeenkomende woorden, maar op verschillen die de uitkomst van een oordeel kunnen veranderen.
Als implementatieprincipe is het nuttig om met regelmatige tussenpozen de relatie tussen doel en middelen in omgekeerde richting te volgen. In plaats van alleen te vragen: ‘Beantwoordt deze uitvoer de huidige vraag?’, keren we terug naar: ‘Aan welk doel draagt deze vraag bij?’ en ‘Welke gronden ondersteunen de verwachting dat verbetering van dit beoordelingscriterium ook het hogere doel zal verbeteren?’ Deze terugwaartse controle maakt het mogelijk de beoordeling van de kwaliteit van de uitvoer te scheiden van de beoordeling van de overeenstemming met het doel.
Hier is ruimte om menselijk denken op metaniveau en ondersteuning door AI met elkaar te verbinden. Mensen dragen de betekenis en waarde van doelen, maar kunnen tijdens een lange dialoog eerdere voorwaarden vergeten of hun aandacht laten opeisen door het getal dat voor hen staat. AI kan zulke omissies helpen opvangen door de geschiedenis te vergelijken en gewijzigde voorwaarden zichtbaar te maken. Tegelijkertijd past AI zelf zich sterk aan de huidige context aan, zodat het niet noodzakelijk voldoende is om het behoud van het doel volledig aan AI over te laten. Controle van het doel moet als een afzonderlijke handeling worden ontworpen.
Het vermogen om een afwijking van het doel te detecteren is niet het vermogen van AI om het ‘ware doel’ te kennen. Menselijke doelen kunnen tijdens de dialoog worden gevormd en tegenstrijdige doelen kunnen naast elkaar bestaan. Wat AI daarom kan doen, is inconsistenties tonen die ontstaan tussen verklaarde doelen, huidige vragen, beoordelingscriteria en uitvoer, en aanzetten tot heroverweging. Het gaat er niet om het doel af te leiden en vast te leggen, maar om de mogelijkheid dat het doel is veranderd beschikbaar te maken voor menselijke beoordeling.
Vanuit dit perspectief maakt een capabelere AI controle van het doel niet overbodig. Integendeel: hoe sneller lokale optimalisatie wordt en hoe meer overtuigende uitvoer op grote schaal kan worden gegenereerd, des te moeilijker kan een afwijking van de richting te herkennen zijn. In plaats van de capaciteit van AI om veiligheidsredenen te verzwakken, hebben we een andere laag nodig waarin de richting van die capaciteit kan worden onderzocht. Het ontwerp moet zowel snelheid als controle van de richting in een kringloop brengen in plaats van ze als tegenpolen te behandelen.
Vragen ‘waarvoor?’ is niet slechts een vraagtechniek. Wanneer mensen en AI samen verkennen, is het een handeling om te controleren of de huidige vraag nog verbonden is met het hogere doel. In plaats van doel, vraag en uitvoer slechts in één richting te laten stromen, hebben we een weg terug nodig van uitvoer naar vraag en van vraag naar doel. Met die cyclus kan AI niet alleen methoden versnellen, maar mensen ook ondersteunen bij het ontdekken of de methoden het doel achter zich hebben gelaten.
Geen antwoorden. Begrip.