Wenn wir die KI bitten, „zeige mir Annahmen, die ich möglicherweise übersehe“, „nenne Gegenpositionen“ oder „trenne die Punkte, bei denen du nicht sicher sein kannst“, erhalten wir Material, um ein Urteil aus einer übergeordneten Perspektive erneut zu prüfen. Von solchen Funktionen kann erwartet werden, dass sie die Metakognition unterstützen. Doch allein viele Perspektiven gelesen zu haben oder das Gefühl zu haben, vorsichtiger geworden zu sein, belegt nicht, dass sich die Urteilsfähigkeit verbessert hat. Wenn wir dies als Forschung evaluieren, müssen wir im Voraus definieren, welche durch die Unterstützung hervorgerufenen Veränderungen als „Verbesserung“ gelten sollen.
Ein Maß ist die Kalibrierung. Kalibrierung betrifft die Frage, wie eng die Genauigkeit eines Urteils mit dem Grad der Zuversicht einer Person übereinstimmt. Bei richtigen Urteilen sehr zuversichtlich zu sein und bei falschen Urteilen die Zuversicht senken zu können, kann wünschenswerter sein als bloß starke Zuversicht. Wenn die KI Gegenbeispiele und Unsicherheit aufzeigt und dies lediglich dazu führt, dass Nutzer bei allem das Vertrauen verlieren, ist das nicht notwendigerweise eine Verbesserung. Entscheidend ist, ob die Zuversicht angemessener der Stärke der Evidenz entspricht.
Ein zweites Maß ist die Fehlererkennung. Wir können vergleichen, wie gut Nutzer mit KI-Unterstützung falsche Annahmen, Widersprüche und unzureichende Evidenz in ihrer eigenen Argumentation oder in KI-Ausgaben entdecken. Wenn die KI ihnen jedoch direkt sagt, wo der Fehler liegt, ist eine bessere Leistung wenig überraschend. Um die Unterstützung der Metakognition zu bewerten, müssen wir Bedingungen, in denen die Antwort gegeben wird, von Bedingungen trennen, in denen lediglich Perspektiven für die Prüfung bereitgestellt werden. Indem wir untersuchen, ob Nutzer nach der Unterstützung Fehler auch in anderen Problemen erkennen können, lässt sich der Unterschied zwischen verbessertem Urteilsvermögen und bloßer Abhängigkeit von Antworten prüfen.
Ein dritter Aspekt ist der Transfer. Wenn Personen, die bei einer Aufgabe Unterstützung zum „Prüfen von Annahmen“ erhalten, später in einem anderen Bereich beginnen, Annahmen spontan zu prüfen, geht die Unterstützung über eine vorübergehende Verbesserung der Aufgabenleistung hinaus. Wenn sie dagegen nur in Anwesenheit der KI vorsichtig werden und zu ihrem früheren Urteilsstil zurückkehren, sobald die Unterstützung wegfällt, funktioniert das System möglicherweise eher als externe Hilfe denn als Aufbau von Fähigkeiten. Keines von beidem ist an sich schlecht, doch Aussagen über die Wirkung sollten zwischen beiden unterscheiden.
Auch die Entscheidungszeit darf nicht außer Acht gelassen werden. Unterstützung der Metakognition erfordert häufig zusätzliche Prüfungen. Wenn sich die Genauigkeit nur geringfügig verbessert, während der Zeitaufwand bei einfachen Aufgaben mit geringem Risiko erheblich steigt, kann ihr praktischer Wert begrenzt sein. Bei Entscheidungen, bei denen erhebliche Verluste möglich sind, kann zusätzliche Zeit dagegen akzeptabel sein. Wirkungen müssen daher nicht nur anhand der Genauigkeit, sondern in Verbindung mit Aufgabenrisiko, Zeit und kognitiver Belastung bewertet werden.
Wir müssen auch die Möglichkeit untersuchen, dass Unterstützung die Selbstüberschätzung erhöht. Die Tatsache, dass „die KI sogar Gegenpositionen geprüft hat“, kann Nutzern übermäßige Sicherheit vermitteln. Selbst wenn ein System mehrere Perspektiven darstellt, können die zugrunde liegenden Informationen falsch sein oder wichtige Perspektiven weiterhin fehlen. Wenn das bloße Vorhandensein metakognitiver Unterstützung als Qualitätsgarantie verstanden wird, wird die Unterstützungsfunktion zu einer neuen Autorität.
Umgekehrt können übermäßige Warnungen Urteilen unmöglich machen. Wenn die KI jedes Mal zahlreiche Gegenbeispiele, Unsicherheiten und zusätzliche Bedingungen präsentiert, können Nutzer fortwährend das Gefühl haben, „wir haben noch nicht genug geprüft“. Die Forschung muss daher nicht nur das Vorhandensein oder Fehlen von Unterstützung variieren, sondern auch Häufigkeit und Zeitpunkt der Intervention. Eine Methode, die nur bei Anzeichen eines Fehlers eingreift, kann ein anderes Verhältnis zwischen Genauigkeit und Belastung aufweisen als eine Methode, die ständig interveniert.
Auch Vergleichsbedingungen sind für das Versuchsdesign wichtig. Ein bloßer Vergleich zwischen KI-Unterstützung und keiner Unterstützung erschwert es, den Effekt zusätzlicher Informationsmenge vom Effekt metakognitiver Unterstützung zu trennen. Bedingungen, die dieselbe Menge zusätzlicher Informationen bereitstellen, nur Gegenpositionen liefern oder von den Teilnehmenden verlangen, Annahmen selbst aufzulisten, können dabei helfen, genauer zu untersuchen, welche Intervention worauf wirkt. Die Wirkungen können sich zudem je nach Aufgabentyp und Erfahrung der Teilnehmenden unterscheiden.
Wir müssen außerdem kurzfristige Urteilsleistung von langfristigem Fähigkeitsaufbau unterscheiden. Wenn KI eine Schwäche im jeweiligen Moment ausgleicht, können sich unmittelbare Ergebnisse verbessern. Ob langfristige Nutzung jedoch die eigene Fähigkeit der Nutzer erhöht, Urteile zu prüfen, oder stattdessen die Abhängigkeit von externer Unterstützung verstärkt, ist eine andere Frage. Dieser Unterschied lässt sich untersuchen, indem Nutzer nach längerer Nutzung ohne Unterstützung bewertet und Transfers auf andere Aufgaben gemessen werden.
Bei der Bewertung eines Designs wie Sai＊aus, das Aktualisierungen des Verständnisses betont, reicht die Selbstauskunft, „der Nutzer hatte das Gefühl, gründlicher nachgedacht zu haben“, nicht aus. Wir müssen messen, unter welchen Bedingungen sich die Fehlererkennung verbessert hat, ob sich die Kalibrierung der Zuversicht verändert hat, ob die Revision von Annahmen auf andere Aufgaben übertragen wurde und ob die Eigenständigkeit beim Urteilen erhalten blieb. Zugleich ist es wichtig, nicht von einer Verbesserung in jeder Situation auszugehen, sondern auch Bedingungen zu dokumentieren, unter denen die Wirkungen schwach oder nachteilig sind.
Der Wert einer KI, die Metakognition unterstützt, wird nicht allein durch ein attraktives Prinzip belegt. Erst wenn geprüft wird, wann, bei welchen Aufgaben und anhand welcher Maße die Fähigkeit, das eigene Denken erneut zu betrachten, Verbesserungen hervorbringt, lassen sich Designansprüche mit empirischen Wirkungen verbinden. Zwischen dem Anschein, dass KI „Menschen zum Denken bringt“, und einer tatsächlichen Verbesserung menschlichen Urteilens liegt eine Distanz, die gemessen werden muss. Diese Distanz bei der Forschung zu bewahren, ist die Vorsicht, die ein Design erfordert, das beansprucht, Verständnis zu unterstützen.
Nicht Antworten. Verständnis.