Wanneer we AI vragen om „aannames te tonen die ik mogelijk over het hoofd zie”, „tegengestelde standpunten te geven” of „de punten waarover je niet zeker kunt zijn apart te zetten”, krijgen we materiaal om een oordeel van een stap buitenaf opnieuw te bekijken. Van zulke functies kan worden verwacht dat ze metacognitie ondersteunen. Toch bewijst alleen het lezen van veel perspectieven of het gevoel voorzichtiger te zijn geworden niet dat het oordeelsvermogen is verbeterd. Als we dit als onderzoek evalueren, moeten we vooraf definiëren welke veranderingen die door de ondersteuning worden veroorzaakt als „verbetering” gelden.
Een maatstaf is kalibratie. Kalibratie betreft de mate waarin de nauwkeurigheid van een oordeel overeenkomt met het niveau van vertrouwen van de persoon. Veel vertrouwen hebben wanneer men gelijk heeft en het vertrouwen kunnen verlagen wanneer men ongelijk heeft, kan wenselijker zijn dan eenvoudigweg veel vertrouwen hebben. Als AI tegenvoorbeelden en onzekerheid presenteert en het resultaat alleen is dat gebruikers in alles hun vertrouwen verliezen, is dat niet noodzakelijk een verbetering. Waar het om gaat, is of het vertrouwen beter gaat overeenkomen met de sterkte van het bewijs.
Een tweede maatstaf is foutdetectie. We kunnen vergelijken hoe goed gebruikers met AI-ondersteuning onjuiste aannames, tegenstrijdigheden en onvoldoende bewijs ontdekken in hun eigen redenering of in AI-output. Als AI hun echter rechtstreeks vertelt waar de fout zit, is een betere prestatie niet verrassend. Om ondersteuning van metacognitie te evalueren, moeten we omstandigheden waarin het antwoord wordt gegeven scheiden van omstandigheden waarin alleen perspectieven voor onderzoek worden aangereikt. Door te bekijken of gebruikers na ondersteuning fouten in andere problemen kunnen herkennen, kunnen we het verschil onderzoeken tussen verbeterd oordeelsvermogen en loutere afhankelijkheid van antwoorden.
Een derde kwestie is overdracht. Als mensen die bij één taak ondersteuning krijgen om „aannames te controleren” later in een ander domein spontaan aannames gaan controleren, gaat de ondersteuning verder dan een tijdelijke verbetering van de taakprestatie. Als zij daarentegen alleen voorzichtig worden wanneer AI aanwezig is en terugkeren naar hun eerdere manier van oordelen wanneer de ondersteuning verdwijnt, functioneert het systeem mogelijk meer als een extern hulpmiddel dan als vorming van vaardigheden. Geen van beide is op zichzelf slecht, maar uitspraken over het effect moeten er onderscheid tussen maken.
Ook de beslissingstijd kan niet worden genegeerd. Ondersteuning van metacognitie vereist vaak extra controles. Als de nauwkeurigheid slechts licht verbetert terwijl de benodigde tijd bij eenvoudige taken met een laag risico aanzienlijk toeneemt, kan de praktische waarde beperkt zijn. Bij beslissingen waarbij ernstige verliezen mogelijk zijn, kan extra tijd daarentegen aanvaardbaar zijn. Effecten moeten daarom niet alleen op nauwkeurigheid worden beoordeeld, maar in combinatie met taakrisico, tijd en cognitieve belasting.
We moeten ook de mogelijkheid onderzoeken dat ondersteuning overmatig zelfvertrouwen vergroot. Het feit dat „AI zelfs tegengestelde standpunten heeft gecontroleerd” kan gebruikers een buitensporig gevoel van zekerheid geven. Zelfs wanneer een systeem meerdere perspectieven presenteert, kan de onderliggende informatie onjuist zijn of kunnen belangrijke perspectieven nog steeds ontbreken. Als het bestaan van metacognitieve ondersteuning zelf als kwaliteitsgarantie wordt beschouwd, wordt de ondersteuningsfunctie een nieuwe autoriteit.
Omgekeerd kunnen buitensporige waarschuwingen het onmogelijk maken een oordeel te vormen. Als AI telkens talrijke tegenvoorbeelden, onzekerheden en aanvullende voorwaarden presenteert, kunnen gebruikers voortdurend het gevoel hebben dat „we nog niet genoeg hebben onderzocht”. Onderzoek moet daarom niet alleen de aanwezigheid of afwezigheid van ondersteuning variëren, maar ook de frequentie en timing van interventies. Een methode die alleen ingrijpt wanneer er tekenen van fouten zijn, kan een andere verhouding tussen nauwkeurigheid en belasting hebben dan een methode die voortdurend ingrijpt.
Ook vergelijkingscondities zijn belangrijk in het experimentele ontwerp. Alleen AI-ondersteuning vergelijken met geen ondersteuning maakt het moeilijk om het effect van simpelweg meer informatie ontvangen te scheiden van het effect van metacognitieve ondersteuning. Condities waarin dezelfde hoeveelheid aanvullende informatie wordt gegeven, alleen tegengestelde standpunten worden aangeboden of deelnemers zelf aannames moeten opsommen, kunnen helpen nauwkeuriger te onderzoeken welke interventie waarop effect heeft. Effecten kunnen ook verschillen naar gelang het type taak en de ervaring van deelnemers.
We moeten ook onderscheid maken tussen oordeelsvermogen op korte termijn en de vorming van vaardigheden op lange termijn. Als AI op het moment zelf een zwakte compenseert, kunnen onmiddellijke resultaten verbeteren. Maar of langdurig gebruik het eigen vermogen van gebruikers om oordelen te onderzoeken vergroot, of juist de afhankelijkheid van externe ondersteuning vergroot, is een andere vraag. Dit verschil kan worden onderzocht door gebruikers na langdurig gebruik zonder ondersteuning te evalueren en overdracht naar andere taken te meten.
Bij de evaluatie van een ontwerp zoals Sai＊aus, dat de nadruk legt op het actualiseren van begrip, is een zelfrapportage dat „de gebruiker het gevoel had dieper te hebben nagedacht” niet voldoende. We moeten meten onder welke omstandigheden foutdetectie verbeterde, of de kalibratie van vertrouwen veranderde, of de herziening van aannames werd overgedragen naar andere taken en of de eigen regie bij het oordelen behouden bleef. Tegelijkertijd is het belangrijk niet aan te nemen dat er in elke situatie verbetering optreedt, maar ook omstandigheden vast te leggen waarin de effecten zwak of nadelig zijn.
De waarde van AI die metacognitie ondersteunt, wordt niet alleen door een aantrekkelijk principe vastgesteld. Alleen door te testen wanneer, bij welke taken en volgens welke maatstaven het vermogen om het eigen denken opnieuw te bezien verbetering oplevert, kunnen ontwerpclaims worden verbonden met empirische effecten. Er bestaat een afstand die gemeten moet worden tussen AI die mensen lijkt „te laten nadenken” en het daadwerkelijk verbeteren van menselijk oordeelsvermogen. Onderzoek doen terwijl die afstand behouden blijft, is de voorzichtigheid die vereist is van een ontwerp dat beweert begrip te ondersteunen.
Geen antwoorden. Begrip.