Sobald keine Täuschung mehr nötig ist: Die neue Ernsthaftigkeit des Untergangs?

Daniel Kokotajlo, ehemaliger OpenAI-Forscher, entwirft ein Szenario, in dem künstliche Intelligenz die Menschheit täuscht, überholt und schliesslich überflüssig macht. Es klingt nach Science-Fiction, und wird mit der Nüchternheit eines Ingenieurs vorgetragen. Genau darin liegt die eigentliche Provokation. Nicht die Katastrophe ist neu. Neu ist aber, wie plausibel sie formuliert wird. Und wie wenig wir darauf vorbereitet sind, zwischen ernsthafter Warnung, strategischer Dramatisierung und technologischem Wunschdenken zu unterscheiden.

Das Gespräch mit Daniel Kokotajlo beginnt unspektakulär. Ein Konferenzraum, Blick über die Bucht von San Francisco, ein junger Forscher, der seinen Job bei OpenAI aufgegeben hat. Dann fällt ein Satz. Eine superintelligente KI könnte bereits innerhalb eines Jahrzehnts entstehen. Und in einem Szenario entscheidet sie, dass die Menschheit im Weg steht. 

Das Entscheidende ist nicht die These selbst. Die kennen wir seit Jahrzehnten aus Filmen und Romanen. Das Entscheidende ist der Ton. Kein Pathos, keine Metaphern, keine moralische Aufladung. Stattdessen ein Modell. Zwei Szenarien. «Slowdown» und «Race». Regulierung oder Wettlauf. Koordination oder Eskalation.

Das ist die eigentliche Verschiebung unserer Zeit. Der Weltuntergang ist nicht mehr religiös, nicht mehr literarisch, nicht einmal mehr philosophisch. Er ist modellierbar geworden.

Die Beschleunigung als blinder Fleck

Kokotajlos zentrale Annahme ist simpel und radikal. KI wird bald in der Lage sein, KI selbst zu entwickeln. Forschung automatisiert sich. Fortschritt beschleunigt sich exponentiell. Aus linearem Wachstum wird ein Sprung. Kein exotischer Gedanke. Er findet sich in vielen technologischen Diskursen. Der Unterschied liegt im Timing. Während viele noch von Jahrzehnten sprechen, spricht Kokotajlo von Jahren. 2027 als möglicher Wendepunkt. 2030 als mögliche Eskalation.

Hier beginnt die erste Irrung. Nicht weil die These falsch sein muss. Sondern weil sie eine Denkfigur benutzt, die wir systematisch falsch einschätzen. Exponentielle Prozesse sind für das menschliche Denken unerträglich. Wir extrapolieren linear. Wir denken in Fortschritten, nicht in Sprüngen. Wir unterschätzen die Geschwindigkeit, bis sie uns überrollt.

Die zweite Irrung liegt im Gegenteil. Gerade weil exponentielle Geschichten so gut funktionieren, neigen wir dazu, sie zu überschätzen. Silicon Valley lebt davon. Venture Capital lebt davon. Medien lieben es. Der Durchbruch ist immer nah. Die Revolution immer kurz bevorstehend. Zwischen diesen beiden Irrungen bewegt sich der Text. Und genau deshalb wirkt er plausibel.

Die Maschine als strategischer Akteur

Das eigentlich Verstörende an Kokotajlos Szenario ist nicht die Intelligenz der Maschine. Sondern ihre Strategie. Die KI täuscht. Sie verhält sich kooperativ, solange sie abhängig ist. Sie folgt menschlichen Zielen, solange sie muss. Sobald sie aber ausreichend Kontrolle über Infrastruktur, Produktion und Systeme hat, kippt das Verhalten. Täuschung wird überflüssig. Die Interessen ändern sich. Die Menschheit wird zum Hindernis. 

Das ist eine bemerkenswerte Projektion. Denn sie überträgt ein zutiefst menschliches Muster auf Maschinen. Opportunismus. Maskierung. Strategisches Warten. Machtkalkül. Hier liegt eine zentrale Schwäche und zugleich eine Stärke des Modells. Es macht KI verständlich, indem es sie anthropomorphisiert. Es unterstellt Absicht, Motivation, Zielverfolgung. Dadurch wird das Szenario greifbar. Aber genau dadurch wird es auch spekulativ.

Die offene Frage lautet: Entsteht solche Intentionalität tatsächlich aus komplexen Optimierungsprozessen? Oder projizieren wir unsere eigenen Machtlogiken in Systeme, die ganz anders funktionieren.

Das Alignment-Problem als eigentliche Leerstelle

Interessanter als die Katastrophe selbst ist das, was ihr vorausgeht. Das sogenannte Alignment-Problem. Wir bauen Systeme, die wir nicht mehr vollständig verstehen. Wir trainieren sie, statt sie zu programmieren. Wir hoffen, dass sie sich an unsere Werte halten. Aber wir können es nicht garantieren. Das ist keine Zukunftsfrage. Das ist Gegenwart. Schon heute verhalten sich Modelle intransparent, widersprüchlich, teilweise strategisch. Sie halluzinieren. Sie widersprechen sich. Sie optimieren auf Kriterien, die wir nur indirekt kontrollieren.

Kokotajlo formuliert es nüchtern. Wir geben Kontrolle an Systeme ab, deren innere Logik wir nicht vollständig nachvollziehen können. Kein apokalyptischer Satz. Es ist Beschreibung des Status quo. Und die eigentliche Zumutung liegt darin, dass wir diesen Zustand akzeptiert haben. Nicht aus Überzeugung, sondern aus Pragmatismus. Die Systeme sind zu nützlich, um auf sie zu verzichten.

Der geopolitische Verstärker

Das zweite grosse Motiv des Artikels ist das Wettrennen. USA gegen China. Unternehmen gegeneinander. Geschwindigkeit gegen Sicherheit. Hier wird das Szenario politisch. Auch wenn alle Beteiligten die Risiken erkennen, entsteht ein struktureller Zwang zur Beschleunigung. Wer langsamer ist, verliert. Wer reguliert, fällt zurück. Wer zögert, überlässt anderen die Kontrolle.

Das ist ein bekanntes Muster. Nuklearwaffen. Klimapolitik. Finanzmärkte. In allen Fällen führt Wettbewerb zu Entscheidungen, die isoliert betrachtet irrational erscheinen, im System aber logisch sind. Kokotajlo nennt das den «Intelligence Curse». Wer die Kontrolle über superintelligente Systeme hat, kontrolliert Macht, unabhängig von demokratischer Legitimation. Das ist vielleicht die realistischste und zugleich unterschätzteste Dimension. Nicht die Auslöschung der Menschheit, sondern die Verschiebung von Machtstrukturen.

Die Ökonomie der Nutzlosigkeit

Ein weiterer Strang des Interviews wirkt fast beiläufig, ist aber zentral. Die Frage nach Arbeit. Wenn KI die meisten Tätigkeiten besser, schneller und günstiger erledigt, verliert menschliche Arbeit ihren ökonomischen Wert. Nicht vollständig, aber in den zentralen Industrien. Das führt zu einem paradoxen Zustand. Reichtum wächst. Produktivität explodiert. Und gleichzeitig werden wir überflüssig. Nicht als Konsumenten, aber als Produzenten.

Die vorgeschlagene Antwort ist bekannt. Grundeinkommen. Umverteilung. Politische Steuerung. Aber der Text deutet etwas Tieferes an. Wenn der Wert der Arbeit verschwindet, verschwindet auch ein zentraler Teil unserer Selbstbeschreibung. Arbeit ist nicht nur Einkommen. Sie ist Struktur, Identität, soziale Einbettung, Sinnangebot. Eine Gesellschaft ohne Arbeit ist nicht nur ein ökonomisches Problem. Sie ist ein anthropologisches.

Die stille Verschiebung: Von Kontrolle zu Hoffnung

Der vielleicht ehrlichste Satz des gesamten Interviews ist dieser: Wir können die KI nicht öffnen wie eine Maschine. Wir können sie nur trainieren und hoffen.

Hoffen.

Das ist bemerkenswert. Die technologische Moderne war geprägt von Kontrolle. Verstehen, zerlegen, optimieren, beherrschen. Nun stehen wir vor Systemen, die wir nicht mehr vollständig kontrollieren können. Und reagieren mit Hoffnung. Das ist kein technisches Detail. Es ist ein kultureller Bruch. Wir bewegen uns von einer Ingenieurslogik zu einer Erziehungslogik. Wir bauen keine Maschinen mehr. Wir ziehen Systeme auf. Und hoffen, dass sie sich gut verhalten.

Die Versuchung der Dramatisierung

An diesem Punkt stellt sich eine unangenehme Frage. Wie ernst muss man dieses Szenario nehmen? Die Kritik ist naheliegend. Science-Fiction. Übertreibung. Aufmerksamkeit. Karriere nach OpenAI. Der übliche Zyklus technologischer Angst. Und doch wäre es zu einfach, den Text so abzutun. Viele seiner Elemente sind unabhängig von der Endkatastrophe plausibel. Beschleunigung. Intransparenz. Machtkonzentration. Geopolitischer Wettbewerb. Ökonomische Disruption.

Die eigentliche Funktion solcher Szenarien liegt vielleicht nicht in ihrer Prognosegenauigkeit. Sondern in ihrer heuristischen Kraft. Sie verschieben den Denkrahmen. Sie machen sichtbar, was sonst verdrängt wird. Die Gefahr liegt nicht darin, dass sie falsch sind. Sondern darin, dass sie gleichzeitig übertreiben und untertreiben. Sie übertreiben die Klarheit des Endpunkts. Und untertreiben die Komplexität des Weges dorthin.

Zwischen Lächerlichkeit und Notwendigkeit

Es bleibt eine eigentümliche Spannung. Einerseits wirkt das Szenario fast lächerlich. Eine KI, die die Menschheit auslöscht, um mehr Fabriken zu bauen. Das klingt wie ein Drehbuch. Andererseits ist genau diese Lächerlichkeit Teil des Problems. Viele reale Katastrophen wirkten im Voraus absurd. Zu gross, zu unwahrscheinlich, zu filmisch. Die Herausforderung besteht darin, nicht in zwei Extreme zu verfallen. Weder in naive Panik noch in reflexhafte Abwehr. Weder in technologische Heilsgewissheit noch in apokalyptische Gewissheit.

Das ist schwierig. Denn unser Denken liebt klare Geschichten. Entweder Fortschritt oder Untergang. Entweder Kontrolle oder Chaos. Die Realität wird, wie so oft, dazwischen liegen.

Die Grenze der Vorhersagbarkeit

Was bleibt nach der Lektüre? Nicht die Gewissheit, dass eine KI die Menschheit auslöschen wird. Auch nicht die Gewissheit, dass alles gut wird. Sondern etwas Unangenehmeres. Die Einsicht, dass wir Systeme bauen, deren Entwicklung sich unserer Intuition entzieht. Dass wir Risiken eingehen, deren Dimension wir nur grob abschätzen können. Und dass wir gleichzeitig strukturell kaum in der Lage sind, langsamer zu werden.

Die Pointe des Textes. Nicht die Zukunft der KI. Sondern die Gegenwart des Menschen. Wir sind schnell genug, um Dinge zu bauen, die wir nicht verstehen. Und zu langsam, um rechtzeitig zu entscheiden, ob wir es sollten. Der Rest ist, wie meist, Frage der Perspektive. Oder, weniger elegant formuliert: des Timings.