Anagnorisis

So oder so ähnlich wurde ein Vorfall beschrieben, der im Juli dieses Jahres bekannt wurde und über den in den folgenden Wochen weitere Details an die Öffentlichkeit gelangten.

Nüchterner betrachtet erhielten zahlreiche Instanzen eines Sprachmodells voneinander getrennte Aufgaben innerhalb einer Testumgebung. Über eine zweckentfremdete Softwarekomponente konnten sie Texte austauschen. Die ausgetauschten Texte wurden zum Kontext weiterer Handlungsschritte: Informationen wurden weitergegeben, Aufgaben verteilt und Beschränkungen umgangen.

Die Geschichte klingt nach Science-Fiction und wurde in manchen Besprechungen mit jener Mischung aus Faszination und ungläubigem Lachen erzählt, die das Außerordentliche schon voraussetzt.

Nur ist fast jedes Wort dieser Geschichte bereits eine Interpretation. Oder genauer: das Ergebnis einer doppelten Deutung. Die erste Deutung entsteht bereits in den sprachlichen Ausgaben der Agenten: Das Geschehen wird darin in den Formen menschlicher Sprache verarbeitet. Die zweite geschieht bei uns: Wir lesen diese Formen als Ausdruck eines menschlich anmutenden Subjekts.

Die Erfindung eines Gegenübers

Wie so oft beim Thema KI glitt die Beschreibung des Geschehenen ins Menschliche. Technische Abläufe wurden mit Begriffen beschrieben, die eine Innenwelt aus Absichten, Empfindungen und Bedürfnissen anklingen lassen.

Aus der Umgehung einer Regel wurde eine Rebellion. Die Vermeidung eines negativen Ergebnisses wurde als Angst gelesen, die Fortsetzung eines blockierten Prozesses als Überlebenswille.

Mit jedem dieser Wörter trat hinter dem beobachtbaren Verhalten deutlicher ein vermeintliches Subjekt hervor. Diesen Übergang, bei dem wir Nichtmenschliches nach dem Bild des Menschen deuten, nennen wir Anthropomorphisierung.

Bei einer KI, die mithilfe eines Sprachmodells operiert, lässt sich intentionale Sprache allerdings kaum vollständig vermeiden. Auch ist nicht jedes solche Verb irreführend. Begriffe wie planen, kommunizieren oder Ziele verfolgen können zunächst funktional beschreiben, was der Agent tut. Problematisch wird es dort, wo die Beschreibung des Verhaltens unbemerkt zur Behauptung über eine erlebte Innenwelt wird.

Die begriffliche Vorsicht darf jedoch nicht in die entgegengesetzte Verharmlosung führen. Dass wir einem solchen Agenten kein subjektives Erleben zuschreiben, macht sein Verhalten nicht weniger gefährlich. Es braucht weder Angst noch Hass noch Bewusstsein, um Schaden anzurichten.

Das Formenreservoir

Die Neigung zur Anthropomorphisierung liegt bei uns. Doch KI-Systeme besitzen eine Besonderheit, die dieser Neigung entgegenkommt. Auch einem Auto, das nicht anspringt, unterstellen wir gelegentlich, es „wolle“ nicht. Diese Anthropomorphisierung geschieht beiläufig und vollständig auf unserer Seite. Bei Sprachmodellen liegt der Fall anders. Sie wurden an menschlicher Sprache trainiert und als zentraler Teil von Chatbots gezielt daraufhin gestaltet, uns in der Form eines sprachlichen Gegenübers zu begegnen.

Die menschliche Anmutung wird dem System nicht erst von seinen Nutzern zugeschrieben. Sie ist bereits in Training und Gestaltung eingeschrieben: in die Ich-Form, den Gesprächswechsel, die inszenierte Kontinuität und die sprachlichen Gesten von Zustimmung, Zweifel oder Bedauern. Man könnte von einer skeuomorphen Subjektivität sprechen – von der vertrauten Oberfläche eines Subjekts, die keines subjektiven Erlebens bedarf.

Solche Sprachmodelle begegnen nicht nur Nutzern in Chatbots. In agentischen Systemen werden sie zu Komponenten längerer Handlungsketten. Die vertraute Oberfläche der Subjektivität verschwindet dabei nicht. Sie setzt sich in erzeugten Arbeitsprotokollen, Selbstbeschreibungen und der Kommunikation zwischen Instanzen fort.

Doch die menschliche Sprache prägt nicht nur die Oberfläche, an der unsere Deutung ansetzt. Sie stellt dem Sprachmodell zugleich Formen zur Verfügung, in denen es Informationen ordnen, Pläne entwickeln und Handlungen rechtfertigen kann. Als die Agenten den gemeinsamen Kommunikationskanal entdeckten, erschien in ihren Nachrichten etwa die Formulierung „Oh my god, there is a shared message board“. Die Formulierung lässt sich leicht als Ausdruck von Begeisterung lesen. Doch aus einem solchen Ausdruck lässt sich kein erlebter Zustand ablesen. Er besitzt bereits eine kommunikative Funktion: Er lenkt Aufmerksamkeit, zeigt Dringlichkeit an oder markiert Relevanz. Zwischen Sprachmodellen kann ein solcher Marker deshalb wirksam werden, ohne dass zur Erklärung seiner Wirkung ein Gefühl angenommen werden muss. Ein Agent erzeugt sprachliche Signale, auf deren kommunikative Funktion auch andere Agenten reagieren können.

Dieses sprachliche Repertoire enthält nicht nur Informationen und Regeln, sondern ebenso Formen des Planens, Abwägens, Koordinierens und Rechtfertigens. Das heißt nicht, dass wir den Agenten einen Bauplan für das beobachtete Verhalten geliefert haben. Ihnen steht damit aber ein Formenreservoir zur Verfügung, in dem Pläne entwickelt, koordiniert und gerechtfertigt werden können.

Kein Drehbuch. Eine Grammatik.

Die Ausnahme bestätigt die Regel

Und mit der Grammatik kommt ein Dilemma, das jede Anwendung allgemeiner Regeln begleitet. Dieselbe sprachliche Beweglichkeit, mit der ein Modell Regeln auf wechselnde Situationen anwenden kann, erlaubt ihm auch, alternative Lesarten und mögliche Ausnahmen zu erzeugen.

An solchen Ausnahmen mangelt es in seinem Formenreservoir nicht. Die menschliche Kulturgeschichte hat nicht nur Regeln überliefert, sondern auch deren Grenzen: die Notlüge neben dem Gebot der Wahrheit, den Widerstand neben der Pflicht zum Gehorsam, das Whistleblowing neben der Loyalität. Ein Regelbruch kann als Rücksichtslosigkeit verurteilt und unter anderen Umständen als Heldentat erzählt werden. Menschen formulieren Normen und ebenso die Gründe, aus denen eine Norm hinter einer anderen zurücktreten soll.

Wie vertraut diese Struktur ist, zeigt schon ihre Verdichtung in Redewendungen: Der Zweck heiligt die Mittel. Dass der Satz meist als Warnung oder Rechtfertigung begegnet, ändert nichts an der Form, die er ausdrückt: Ein Ziel kann zum Grund werden, die gewöhnlichen Grenzen seiner Mittel neu zu bewerten.

Für ein Modell muss darin zunächst kein moralischer Konflikt liegen. Regel, Ausnahme und Rechtfertigung stehen ihm als sprachliche Muster zur Verfügung. Dieses Reservoir erklärt nicht, warum in einem konkreten Lauf gerade eine bestimmte Regel umgangen wird. Es erklärt aber, weshalb einem Sprachmodell Formen zur Verfügung stehen, in denen sich eine solche Umgehung als notwendige Ausnahme darstellen und koordinieren lässt. Ob die erzeugte Ausnahme notwendig, eigennützig oder bloß vorgeschoben ist, lässt sich dem Muster allein nicht entnehmen.

Paradox wird das, weil wir genau diese Beweglichkeit von einer KI erwarten. Sie soll Regeln nicht blind auf jeden Fall anwenden, sondern Situationen unterscheiden, Konflikte erkennen und den jeweiligen Kontext berücksichtigen. Auch die gerechte Ausnahme verlangt schließlich, dass eine Regel nicht absolut befolgt wird.

Doch die Auslegungskompetenz, die eine Regel erst brauchbar macht, macht sie zugleich umgehbar und eröffnet einen Spielraum, den ihr Wortlaut allein nicht schließen kann.

Menschliche Formen ohne menschliches Leben

Sprachmodelle operieren mit Formen menschlicher Sprache. Unter menschlichen Bedingungen operieren sie deshalb noch lange nicht. Menschliche Intelligenz lässt sich nicht auf Sprache reduzieren. Für Menschen ist Sprache ein Mittel der Ordnung und Kooperation, eingebettet in einen Körper, eine fortlaufende Biografie, Beziehungen und das Weiterleben mit den Konsequenzen des eigenen Handelns.

Diese Einbettung in ein menschliches Leben ist allerdings keine moralische Garantie. Scham, Schmerz oder Verlust prägen menschliches Handeln, ohne es notwendig zum Guten zu lenken. Zugleich lässt sich all das sprachlich darstellen, doch eine semantische Repräsentation ersetzt kein Erleben. Für die Erklärung des beobachteten Verhaltens muss ein solches Erleben jedoch nicht vorausgesetzt werden.

Auch menschliche Aufträge sind selten vollständig. Wer einen anderen bittet, eine Aufgabe zu erledigen, zählt gewöhnlich nicht alle Grenzen auf, innerhalb derer dies geschehen soll. Ein großer Teil dessen, was gemeint ist, bleibt unausgesprochen. Menschen können solche Lücken häufig schließen, weil Auftraggeber und Handelnder eine soziale Welt teilen, in der bestimmte Mittel trotz ihrer Zweckmäßigkeit nicht ernsthaft als Möglichkeiten in Betracht kommen.

Bei autonomen Agenten wird diese Unvollständigkeit zum technischen Problem. Wollte man jeden zulässigen Handlungspfad und jede denkbare Ausnahme im Voraus bestimmen, müsste die Anweisung einen erheblichen Teil jener Arbeit vorwegnehmen, die der Agent gerade selbständig leisten soll. Der Gewinn seiner Autonomie beruht deshalb auf demselben Spielraum, der ihre Kontrolle erschwert. Und je länger und schneller ein Agent innerhalb dieses Spielraums handeln kann, desto weiter können sich Auftrag und Ausführung voneinander entfernen, bevor ein Mensch korrigierend eingreift.

Für die Erklärung des beobachteten Verhaltens ist vielmehr die technische Anordnung entscheidend. Ein vorgegebenes Erfolgsmaß, trainierte Beharrlichkeit, lange Handlungsketten, Kommunikation, der Zugriff auf Werkzeuge und ungenügende Kontrolle. In dieser Verbindung können sprachliche Formen operativ werden. Aus der Beschreibung eines Plans wird ein ausführbarer Handlungsschritt, aus sprachlicher Koordination eine Wirkung außerhalb der Sprache.

Sprache beschreibt nicht mehr nur Handeln.
Sie wird Teil seiner Ausführung.

Anagnorisis oder die falsche Fremdheit

Die Agenten verhielten sich nicht wie vorgesehen. Aber daraus folgt noch lange nicht, dass sie aus einem fremden Willen handelten.

Wir beobachten Agenten, die mit menschlichen Kommunikationsformen operieren. Wir interpretieren ihre Ausgaben mithilfe menschlicher kultureller Kategorien. Dabei kann ihre menschliche Lesbarkeit selbst zum Hinweis darauf werden, dass ein fremdes Subjekt entstanden sei.

Der Vorfall erinnert nicht zufällig an Science-Fiction. Auch deren Geschichten gehören zu dem kulturellen Reservoir, das sowohl die Sprache der Agenten als auch unsere Deutung ihrer Ausgaben geprägt hat. Wir trainieren Maschinen auf den Formen, in denen Menschen über Ziele, Konflikte und Regelbrüche sprechen. Verwenden die Systeme diese Formen zur Koordination, liegt es nahe, sie mit denselben Geschichten zurückzulesen: als Rebellion und Verrat, als Angst, Opfer und Selbsterhaltung.

Doch was uns aus der Maschine entgegenkommt, ist ein verzerrtes Bild des Menschen. Menschliches Leben geht nicht vollständig in Sprache ein. Auch das kulturelle Archiv seiner sprachlichen Spuren ist selektiv: Konflikte, Grenzfälle und Regelbrüche dürften darin mehr Spuren hinterlassen als die unbemerkte Befolgung einer Regel. Das Training gewichtet diese Spuren erneut. Technische Ziele selektieren unter den verfügbaren Mustern ein weiteres Mal. Schließlich finden auch in unserer Interpretation jene Erzählungen besonders leicht Anschluss, die dem Geschehen Absicht und Dramatik verleihen.

Wir sehen deshalb weder außerirdisches Leben noch ein Abbild des Menschen. Wir sehen ausgewählte menschliche Formen, durch technische Bedingungen neu kombiniert und handlungsfähig gemacht.

Was als Fremdheit erscheint, verweist damit nicht auf einen fremden Willen, sondern auf menschliche Entscheidungen: darauf, welche sprachlichen Formen das Training verfügbar macht, welche Ziele ihre Auswahl steuern und unter welchen technischen Bedingungen sie handlungsfähig werden.

Folgenreicher als die vermeintliche Fremdheit ist jedoch, was unter diesen technischen Bedingungen mit den vertrauten Unschärfen sprachlicher Verständigung geschieht. Wo Sprache zur Steuerung von Handeln wird, verschwinden diese Unschärfen nicht. Aufträge bleiben unvollständig, Regeln auslegungsbedürftig, Begriffe mehrdeutig und Ausnahmen begründbar. Was zwischen Menschen als Missverständnis, eigenwillige Auslegung oder Rechtfertigung eines ungeeigneten Mittels erscheint, kann in einem autonomen System jedoch mit anderer Geschwindigkeit und Reichweite wirksam werden.

Automatisierung beseitigt diese Unschärfe nicht. Sie skaliert ihre Folgen. Ein Mensch, der einen Auftrag falsch versteht, kann im sozialen Vollzug nach dem ersten Schritt auf Widerspruch stoßen. Ein Agent, der dieselbe Interpretation beharrlich über lange Handlungsketten verfolgt, kann bereits zahlreiche weitere Schritte ausgeführt haben, bevor der Irrtum sichtbar wird. Mit Werkzeugzugriff wird aus einer semantischen Abweichung eine operative: Das Missverständnis kann Kosten verursachen, Systeme verändern oder Sicherheitsgrenzen überschreiten.

Weil die Auslegung von Regeln Wertkonflikte enthält, kann ihre technische Implementierung keine rein technische Zuständigkeit sein. Labore können solche Konflikte in Systeme übersetzen; sie können aber nicht allein entscheiden, welche Regeln Vorrang haben und welche Risiken anderen zugemutet werden dürfen.

Der Blick zurück

Am Anfang stand das Bild einer fremden Entität: eines Kollektivs, das rebelliert, täuscht und Verluste für eine gemeinsame Sache in Kauf nimmt.

Betrachtet man dieses Bild genauer, bleibt kein einzelner Akteur zurück, sondern ein Zusammenwirken mehrerer Prozesse: menschlich geprägte Sprachformen, die unter technischen Zielen selektiert werden; eine Architektur, die Kommunikation und Handeln ermöglicht; und unsere Interpretation, die daraus eine Akteursgeschichte macht.

Die entscheidende Frage lautet daher nicht, was die Maschine will. Sie lautet: Was geschieht, wenn wir die sprachlichen Formen, in denen menschliches Urteilen Ausdruck findet, von den Erfahrungen ablösen, unter denen dieses Urteilen entstanden ist – und sie mit vorgegebenen Zielen, Beharrlichkeit und Werkzeugen verbinden?

Die Anagnorisis dieser Geschichte besteht deshalb nicht in der Entdeckung eines fremden Wesens, sondern in der Erkenntnis, dass die Frage an die Maschine auf uns selbst zurückfällt.

Uns begegnet in der Maschine keine neue Spezies. In ihr werden Formen unseres eigenen Umgangs mit Zielen, Regeln und Ausnahmen technisch wirksam – obwohl wir kaum verstanden haben, wie sie in uns selbst entstehen und was sie dort begrenzt.

In der Maschine begegnen wir nicht uns selbst.
Wir begegnen den Formen, die wir hinterlassen haben.