Bei der Problemlösung mit KI können lokale Verbesserungen sehr schnell voranschreiten. Ziele wie das Kürzen von Texten, das Senken von Kosten, das Verkürzen der Verarbeitungszeit oder das Ordnen von Kandidaten nach Rang lassen sich relativ leicht explizit formulieren und iterativ optimieren. Doch die Verbesserung eines lokalen Ziels garantiert keine Annäherung an einen übergeordneten Zweck. Wenn der ursprüngliche Zweck darin bestand, „die Belastung des Nutzers zu verringern“, die Bewertung sich aber allmählich nur noch darauf konzentriert, „die Anzahl der Bedienvorgänge zu minimieren“, kann die Zahl der Bedienvorgänge sinken, während die Verständlichkeit abnimmt.
Um dieses Problem zu erkennen, reicht es nicht aus, den Zweck lediglich als einen Satz vom Beginn des Dialogs aufzubewahren. Der übergeordnete Zweck, die aktuelle Frage, die geltenden Einschränkungen, die Bewertungsmetriken und die erzeugte Ausgabe müssen danach unterschieden festgehalten werden, wie sie zueinander in Beziehung stehen. Welchen Teil des übergeordneten Zwecks behandelt die aktuelle Frage? Ist die Bewertungsmetrik ein gültiger Stellvertreter für den Zweck? Hat eine im Verlauf hinzugefügte Einschränkung den Zweck verändert? Eine Abweichung vom Zweck zeigt sich weniger als Fehler eines einzelnen Elements als vielmehr als Veränderung der Beziehungen zwischen den Elementen.
Allerdings sollte nicht jede Entfernung vom ursprünglichen Zweck als anomal beurteilt werden. Im Dialog können neue Tatsachen zutage treten, und der Nutzer kann den Zweck berechtigterweise ändern. So kann eine Planung mit dem Zweck beginnen, „in möglichst kurzer Zeit zu reisen“, sich aber nach neuen Sicherheitsinformationen zu „Sicherheit priorisieren, auch wenn es etwas länger dauert“ ändern. In diesem Fall besteht zwar ein Unterschied zum ursprünglichen Zweck, doch er ist kein Scheitern, sondern das Ergebnis einer Aktualisierung des Verständnisses.
Erkannt werden sollte daher nicht die bloße Differenz, sondern der Weg, auf dem sich der Zweck verändert hat. Es muss unterschieden werden, ob die Änderung ausdrücklich gebilligt, durch neue Informationen gerechtfertigt oder beim Verfolgen einer leicht messbaren Kennzahl stillschweigend ersetzt wurde. KI kann Unterschiede zu früheren Dialogen aufzeigen und darauf hinweisen: „Ursprünglich war Sicherheit eine Bedingung, doch im aktuellen Vergleich werden nur die Kosten berücksichtigt.“ Ob diese Veränderung akzeptabel ist, bleibt jedoch dem Urteil des Nutzers überlassen.
Ein Mechanismus zur Erkennung einer Abweichung vom Zweck steht auch vor dem Problem von Fehlalarmen. Menschliche Zwecke lassen sich nicht immer in einem einzigen klaren Satz ausdrücken, und mehrere Werte können in einem Spannungsverhältnis zueinander stehen. Wenn KI bei jeder geringfügigen Formulierungsabweichung vor einer Zweckänderung warnt, wird der Dialog von Bestätigungen beherrscht. Ist die Empfindlichkeit dagegen zu gering, können wichtige Veränderungen der Wertmaßstäbe übersehen werden. Erforderlich ist eine Konzentration nicht auf die Übereinstimmung von Wörtern, sondern auf Unterschiede, die das Ergebnis einer Beurteilung verändern können.
Als Implementierungsprinzip ist es sinnvoll, die Beziehung zwischen Zweck und Mitteln in regelmäßigen Abständen rückwärts zu verfolgen. Statt nur zu fragen: „Beantwortet diese Ausgabe die aktuelle Frage?“, kehren wir zu den Fragen zurück: „Zu welchem Zweck trägt diese Frage bei?“ und „Welche Grundlage stützt die Erwartung, dass eine Verbesserung dieses Bewertungskriteriums auch den übergeordneten Zweck verbessert?“ Diese rückwärts gerichtete Prüfung ermöglicht es, die Bewertung der Ausgabequalität von der Bewertung der Zweckangemessenheit zu trennen.
Hier gibt es Raum für eine Verbindung zwischen menschlichem Denken auf der Metaebene und KI-Unterstützung. Menschen tragen die Bedeutung und den Wert von Zwecken, können aber im Verlauf eines langen Dialogs frühere Bedingungen vergessen oder ihre Aufmerksamkeit von der unmittelbar vor ihnen stehenden Zahl vereinnahmen lassen. KI kann solche Versäumnisse ergänzend auffangen, indem sie den Verlauf vergleicht und veränderte Bedingungen sichtbar macht. Zugleich passt sich auch KI stark an den aktuellen Kontext an, sodass es nicht unbedingt ausreicht, die Bewahrung des Zwecks vollständig der KI zu überlassen. Die Überprüfung des Zwecks muss als eigenständiger Vorgang gestaltet werden.
Die Fähigkeit, eine Abweichung vom Zweck zu erkennen, ist nicht die Fähigkeit der KI, den „wahren Zweck“ zu kennen. Menschliche Zwecke können sich im Dialog herausbilden, und widersprüchliche Zwecke können gleichzeitig bestehen. Was KI daher leisten kann, ist, Inkonsistenzen zwischen erklärten Zwecken, aktuellen Fragen, Bewertungskriterien und Ausgaben aufzuzeigen und zu einer erneuten Prüfung anzuregen. Entscheidend ist nicht, den Zweck zu erschließen und festzuschreiben, sondern die Möglichkeit, dass er sich verändert hat, in eine Form zu bringen, die Menschen prüfen können.
Aus dieser Perspektive macht leistungsfähigere KI die Überprüfung des Zwecks nicht überflüssig. Im Gegenteil: Je schneller lokale Optimierung wird und je mehr überzeugende Ausgaben in großem Umfang erzeugt werden können, desto schwerer kann eine Abweichung der Richtung zu erkennen sein. Statt die Leistungsfähigkeit der KI aus Sicherheitsgründen zu schwächen, brauchen wir eine weitere Ebene, auf der die Richtung dieser Leistungsfähigkeit geprüft werden kann. Die Gestaltung sollte Geschwindigkeit und Richtungsprüfung in einen Kreislauf bringen, statt sie als Gegensätze zu behandeln.
Die Frage „wozu?“ ist nicht bloß eine Fragetechnik. Wenn Menschen und KI gemeinsam erkunden, ist sie ein Vorgang, mit dem geprüft wird, ob die aktuelle Frage weiterhin mit dem übergeordneten Zweck verbunden ist. Statt Zweck, Frage und Ausgabe nur in eine Richtung fließen zu lassen, brauchen wir einen Rückweg von der Ausgabe zur Frage und von der Frage zum Zweck. Mit diesem Kreislauf kann KI nicht nur Methoden beschleunigen, sondern Menschen auch dabei unterstützen zu erkennen, ob die Methoden den Zweck zurückgelassen haben.
Nicht Antworten. Verständnis.