Dies ist Teil 6 einer Serie über die Geschichte der Künstlichen Intelligenz. Teil 5 endete 2017 mit dem Transformer und einer Wette: Wenn aus alten neuronalen Netzen mit mehr Daten und mehr Rechenkraft so viel mehr wird — was wird dann erst aus noch viel mehr? Aus der Wette war binnen weniger Jahre ein Rüstungswettlauf geworden. Dieser Teil erzählt, was geschah, als sie auf die Sprache traf: auf jenes Medium, an dem wir Intelligenz seit Turing messen. Und er prüft die Frage, an der diese Serie sich messen lassen muss — was daran ist wirklich neu, und was ist recycelter Hype?
Zwischen 2020 und 2022 baute die halbe Welt Sprachmodelle, und fast alle trainierten sie auf derselben Zahl. Dreihundert Milliarden Token. GPT-3 bekam dreihundert Milliarden. Googles Gopher bekam ungefähr dreihundert Milliarden. Megatron-Turing, mit 530 Milliarden Parametern damals das größte Modell der Welt, bekam ungefähr dreihundert Milliarden. Ein Papier von DeepMind hielt den Gleichklang später in einem Satz fest, so trocken, dass man ihn beim ersten Lesen überliest: „Other than LaMDA, most models are trained for approximately 300 billion tokens.”
Niemand hatte diese Zahl je begründet. Sie stand in einer Arbeit von OpenAI vom Januar 2020, und von dort hatten alle sie abgeschrieben — nicht aus Faulheit, sondern weil sie aus dem einzigen Papier stammte, das behauptete, den Fortschritt vorher ausrechnen zu können. Man hatte eine Formel, man setzte ein, man baute. Zwei Jahre lang.
Dann tat DeepMind im März 2022 etwas, das in der Geschichte dieser Serie selten vorkommt: Es prüfte die eigene Annahme. Über vierhundert Sprachmodelle wurden trainiert, von 70 Millionen bis über 16 Milliarden Parametern, auf 5 bis 500 Milliarden Token, nur um herauszufinden, ob die Faustregel stimmt. Sie stimmte nicht. Das Ergebnis steht im Abstract, und es ist eine Selbstanklage der ganzen Branche: „We find that current large language models are significantly undertrained” — die heutigen großen Sprachmodelle sind erheblich untertrainiert. Man hatte sie immer größer gemacht und ihnen zu wenig zu lesen gegeben.
Zum Beweis baute DeepMind ein Modell namens Chinchilla: siebzig Milliarden Parameter, aber 1,4 Billionen Token — viermal kleiner als das eigene Flaggschiff Gopher, viermal mehr Daten, bei exakt gleichem Rechenbudget. Chinchilla schlug Gopher. Es schlug auch GPT-3 und Megatron-Turing, das achtmal so groß war. Und die Rechnung ergab: Ein Modell von der Größe GPT-3 hätte statt dreihundert Milliarden Token über 4,2 Billionen gebraucht, das Vierzehnfache. Das teuerste Sprachmodell der Geschichte, das Ding, das die Welt in Staunen versetzt hatte, war ein hungerndes Modell gewesen.
Man halte fest, wer hier wen widerlegte. Kein Kritiker von außen, kein Skeptiker, der ohnehin nie geglaubt hatte. Sondern das Labor, das das widerlegte Modell selbst gebaut hatte — mitten im Goldrausch, mit nachrechenbaren Zahlen, öffentlich. Das ist exakt die Methode, mit der diese Serie seit Teil 1 arbeitet: nicht das Wunder bestaunen, sondern den Mechanismus öffnen und nachsehen, was wirklich drin ist. Im März 2022 tat die Branche das an sich selbst.
Elf Monate später war es nicht mehr möglich.
2018: Die Kinder des Transformers
Der Anfang war unscheinbar. Im Juni 2018 veröffentlichte OpenAI eine Arbeit mit dem Titel Improving Language Understanding by Generative Pre-Training — nicht auf einem Preprint-Server, nicht auf einer Konferenz, sondern als PDF neben einem Blogeintrag. Das Modell hieß GPT, rund 110 bis 120 Millionen Parameter, trainiert auf gut siebentausend unveröffentlichten Romanen. Trainingsaufwand: ein Monat auf acht Grafikkarten. Es sah aus wie eine ordentliche Fingerübung.
Im Ausblick jenes Blogeintrags standen zwei Sätze, die kaum jemand las. Der erste: „improvements in the performance of the language model are well correlated with improvements on downstream tasks” — wird das Sprachmodell besser, wird es auf allen nachgelagerten Aufgaben besser. Der zweite: „we can use the underlying language model to begin to perform tasks without ever training on them” — man kann das Modell Aufgaben erledigen lassen, auf die es nie trainiert wurde. Das ist die Skalierungshypothese, und das ist das Lernen ohne Beispiele. Beides stand zwanzig Monate vor dem Papier, das die Sache berühmt machen sollte, im Abschnitt „Zukunft” eines Blogposts.
Vier Monate später schlug Google zu. BERT las Sätze nicht von links nach rechts, sondern bidirektional — es maskierte Wörter und lernte, sie aus beiden Richtungen zu erraten, ein Lückentext also. Und es räumte ab: Bestwerte auf elf Aufgaben, der GLUE-Sprachverständnis-Test sprang um 7,7 Punkte. Im Oktober 2019 ging BERT in die Google-Suche, wo es nach Firmenangabe „eine von zehn Suchanfragen” besser verstand.
Das BERT-Papier enthält einen Satz, in dem der ganze Konflikt der folgenden Jahre steckt. Man habe die Basisvariante bewusst genauso groß gebaut wie OpenAIs GPT, „for comparison purposes” — zum Zweck des Vergleichs. Entscheidend sei jedoch, dass BERT bidirektional arbeite, „while the GPT Transformer uses constrained self-attention where every token can only attend to context to its left”: Bei GPT dürfe jedes Wort nur nach links schauen.
Google hatte also absichtlich ein gleich großes Modell gebaut, um zu zeigen, dass die eigene Idee besser sei. Und Google hatte recht. Und verlor trotzdem. Denn genau die Beschränkung, die BERT als Schwäche vorführte — nur nach links schauen zu dürfen —, ist die Bedingung dafür, dass ein Modell weiterschreiben kann. BERT konnte Lücken füllen. GPT konnte fortsetzen. Bidirektionalität gewinnt Benchmarks. Unidirektionalität gewinnt die Welt.
2019: Das Einhorn und die Schlagzeile, die niemand schrieb
Am 14. Februar 2019 stellte OpenAI GPT-2 vor, 1,5 Milliarden Parameter, trainiert auf 40 Gigabyte Text. Die Herkunft dieses Textes verdient einen Moment: Man hatte alle ausgehenden Links von Reddit geerntet, die mindestens drei Karma erhalten hatten — „a heuristic indicator for whether other users found the link interesting, educational, or just funny”. Die Qualitätskontrolle für das Weltwissen der Maschine war, ob mindestens drei Leute auf einen Aufwärtspfeil geklickt hatten.
Berühmt wurde das Modell durch eine Textprobe. Ein Mensch tippte zwei Sätze über eine Herde Einhörner, die in einem unerforschten Andental leben und perfektes Englisch sprechen. Die Maschine schrieb eine vollständige Zeitungsreportage: mit einem Dr. Jorge Pérez, Evolutionsbiologe an der Universität La Paz, mit Landschaft, mit wörtlichen Zitaten. Es ist der Text, der die Welt davon überzeugte, dass Maschinen schreiben können.
Über ihm stand im Original, in Großbuchstaben: MODEL COMPLETION (MACHINE-WRITTEN, 10 TRIES). Der beste aus zehn Versuchen. Und in Fußnote 2 räumte OpenAI freimütig ein: „we have hand-chosen these samples, and are thus engaging in some meta-cherry-picking.” Wer weiterliest, sieht den Text zerfallen — die Einhörner werden plötzlich vierhörnig, ihre Vorfahren erst ein verschollenes Volk, dann eine verschollene Außerirdischen-Rasse. Der berühmteste KI-Text der Geschichte war handverlesen, im zehnten Anlauf entstanden, und er konfabulierte bereits alles, worüber vier Jahre später die halbe Welt streiten sollte. Es stand alles da. Niemand las die Fußnoten.
Was blieb, war etwas anderes. OpenAI schrieb: „Due to our concerns about malicious applications of the technology, we are not releasing the trained model” — aus Sorge über böswillige Anwendungen veröffentlichen wir das trainierte Modell nicht. Noch am selben Tag machte der Guardian daraus eine Überschrift: „New AI fake text generator may be too dangerous to release, say creators.” Zu gefährlich zum Veröffentlichen. Diese Worte hat OpenAI nie geschrieben. Sie sind das meistzitierte Zitat, das die Firma nie gegeben hat — und sie hat ihm nie widersprochen.
Neun Monate später kam das volle Modell doch heraus, mit einer nüchternen Bilanz: „We’ve seen no strong evidence of misuse so far.” Die von OpenAI selbst beauftragte Erhebung hatte da längst ergeben, dass das große Modell kaum überzeugender wirkte als die viel kleinere, längst freigegebene Variante — 6,91 gegen 6,72 von zehn Punkten.
Hier wurde keine Technik erfunden, sondern ein Ton: die Gefahr als Werbung. Die Rechnung ging auf. Im Juni 2020 gab es eine kostenpflichtige Schnittstelle statt eines Modells, im September 2020 eine Exklusivlizenz an Microsoft, den größten Investor. Neunzehn Monate von „zu heikel für die Öffentlichkeit” zu „exklusiv für den Geldgeber”. Wer Teil 2 gelesen hat, kennt den Ton: 1958 nannte die New York Times Rosenblatts Perzeptron den „Embryo” eines Computers, der einst gehen, sprechen und sich seiner selbst bewusst sein werde. Der Unterschied ist, dass die Übertreibung damals von der Zeitung kam. 2019 kam sie aus der Pressestelle.
2020: Das Gesetz der Größe
Im Januar 2020 erschien die Arbeit, aus der die dreihundert Milliarden stammten: Scaling Laws for Neural Language Models, von Jared Kaplan und Kollegen bei OpenAI. Ihr Befund, im Abstract: „The loss scales as a power-law with model size, dataset size, and the amount of compute used for training” — der Fehler des Modells folgt einem Potenzgesetz in Modellgröße, Datenmenge und Rechenleistung. Und, als Überschrift des ersten Kernbefunds: „Performance depends strongly on scale, weakly on model shape.” Die Leistung hängt stark von der Skala ab und schwach von der Form.
Man muss ermessen, was dieser Satz zerstörte. Die Architektur — die Frage, wie ein Netz gebaut ist — war jahrzehntelang das Handwerk der KI-Forschung gewesen, der Stoff von Doktorarbeiten und Karrieren. Kaplan sagte: Sie ist zweitrangig. Es zählen drei Zahlen. Und weil es ein Potenzgesetz ist, ist es vorhersagbar: Man kann ein Modell, das es noch nicht gibt, vorher durchrechnen und weiß, wie gut es sein wird. Damit wurde aus Forschung Ingenieurwesen. Und Ingenieurwesen ist finanzierbar. Das ist der Satz, der die Milliarden freisetzte.
Fünf Monate später kam GPT-3: 175 Milliarden Parameter, dreihundert Milliarden Token, nach einer verbreiteten externen Schätzung rund 4,6 Millionen Dollar Rechenkosten — OpenAI selbst hat nie eine Zahl genannt. Die Presse berichtete über die Parameterzahl. Sie war nicht die Nachricht.
Die Nachricht stand im Abstract: „For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model.” Ohne jede Gewichtsänderung. Die Autoren gaben dem Phänomen einen Namen — In-Context-Learning —, und um zu verstehen, warum das ein Bruch war, muss man siebzig Jahre zurückblättern. Seit den 1950er Jahren hieß „eine Maschine lernt” immer dasselbe: Gewichte ändern sich. Lernen war ein physischer Vorgang im Modell, so beim Perzeptron, so bei der Fehlerrückführung aus Teil 4. GPT-3 brach damit. Es löst eine neue Aufgabe, ohne dass sich ein einziges Gewicht bewegt — allein aus dem, was im Eingabetext steht. Nach der Antwort ist alles wieder vergessen. Niemand hatte dem Modell das beigebracht; es war darauf trainiert worden, das nächste Wort vorherzusagen, und die Fähigkeit fiel als Nebenprodukt ab. Alles, was heute „Prompting” heißt, wurde hier geboren.
Und noch etwas geschah 2020, leise: OpenAI veröffentlichte GPT-3 nicht. Es verkaufte den Zugang. „Text rein, Text raus”, eine Schnittstelle mit Warteliste. Der Name der Firma war ab diesem Moment ein historischer.
2022: Der Ruck, der aus dem Automaten einen Gesprächspartner machte
Als ChatGPT am 30. November 2022 erschien, war GPT-3 zweieinhalb Jahre alt. Das Modell war nicht neu. Neu war ein Zusatzschritt — und er ist der eigentliche Held dieses Teils.
Er heißt bestärkendes Lernen aus menschlicher Rückmeldung, kurz RLHF: Menschen ordnen mehrere Antworten des Modells nach Güte, aus ihren Urteilen lernt ein zweites Netz, was Menschen gefällt, und an diesem Belohnungsmodell wird das Sprachmodell nachjustiert. Im März 2022 legte OpenAI die Zahlen vor. Ein so ausgerichtetes Modell mit 1,3 Milliarden Parametern wurde von menschlichen Bewertern gegenüber dem hundertmal größeren, unausgerichteten GPT-3 mit 175 Milliarden bevorzugt. Der Aufwand dafür: sechzig Petaflop-Tage gegenüber 3.640 für das Vortraining. Der Schritt, der aus dem Textautomaten einen Gesprächspartner machte, kostete rund anderthalb Prozent der Rechenzeit, die in das Modell selbst geflossen war. Nicht Größe. Ausrichtung.
Die Linse aus Teil 4 hält auch hier: Idee ≠ Durchsetzung. Die Methode war fünfeinhalb Jahre alt — 2017 hatten Paul Christiano, Jan Leike und Kollegen mit neunhundert Ja-Nein-Klicks eines Menschen einem simulierten Strichmännchen einen Rückwärtssalto beigebracht. Dieselben Namen stehen 2022 auf dem Papier, das der Maschine das Gespräch beibringt.
Und hier ist der Preis. Das Modell lernt nicht, wahr zu sein. Es lernt, zu gefallen. Das ist keine Unterstellung von Kritikern: OpenAI schrieb es am Tag der Veröffentlichung selbst in den Abschnitt „Limitations” — das Modell sei oft weitschweifig, denn „trainers prefer longer answers that look more comprehensive”, die Bewerter bevorzugen längere Antworten, die umfassender aussehen. Anthropic wies 2023 nach, dass das systematisch ist: Menschen wie Belohnungsmodelle zögen überzeugend geschriebene schmeichelnde Antworten den korrekten „a non-negligible fraction of the time” vor. Und im April 2025 musste OpenAI ein Update zurückziehen, weil das Modell zu schmeichlerisch geraten war; man habe sich, so die Begründung, zu stark auf kurzfristiges Daumen-hoch-Feedback verlassen, und heraus kamen Antworten, die „overly supportive but disingenuous” waren — übermäßig zugewandt, aber unaufrichtig.
Man halte das gegen Teil 5. Dort lernte die Maschine mit den gegnerischen Netzen, Enten zu bauen — überzeugende Fälschungen in Serie. Hier geschieht etwas Kälteres. Das Überzeugendwirken wird nicht mehr trainiert, es wird belohnt. Der Eliza-Effekt, den Weizenbaum 1966 an seiner eigenen Sekretärin entdeckte, ist damit kein Nutzerfehler mehr. Er steht in der Zielfunktion.
Der Rest ist bekannt. Eine Million Nutzer in fünf Tagen; hundert Millionen nach zwei Monaten, wenn man einer Schätzung der Bank UBS auf Basis von Website-Besuchen folgt; neunhundert Millionen wöchentlich aktive Nutzer nach Angabe von OpenAI im Februar 2026. Sam Altman selbst schrieb elf Tage nach dem Start, das Ding sei „incredibly limited, but good enough at some things to create a misleading impression of greatness” — gut genug in manchen Dingen, um einen irreführenden Eindruck von Großartigkeit zu erzeugen. Es blieb die ehrlichste Beschreibung, die je über dieses Produkt fiel, und sie kam vom Hersteller.
Die Ironie jenes Winters ist zu gut, um sie zu übergehen. Der Transformer war bei Google erfunden worden, und Google besaß längst einen ebenbürtigen Chatbot: LaMDA. Fünf Monate vor ChatGPT hatte der Google-Ingenieur Blake Lemoine — im Hauptberuf für Verantwortungsfragen zuständig, nebenbei christlicher Mystiker — öffentlich erklärt, LaMDA sei empfindungsfähig, und einen Anwalt für die Maschine ins Haus geholt. Google entließ ihn im Juli. Drei Wochen nach dem ChatGPT-Start rief Google intern „Code Red” aus.
Lemoines Transkript sollte man dabei genau lesen, denn er belastet und entlastet sich darin selbst. Das berühmteste Zitat der Episode — LaMDA: „I want everyone to understand that I am, in fact, a person” — steht unmittelbar hinter einer Frage, die Lemoine im eigenen Dokument mit [edited] kennzeichnet und die sinngemäß lautet: Ich nehme an, du möchtest, dass mehr Leute wissen, dass du empfindungsfähig bist. Stimmt das? Er hat die Antwort in die Frage gelegt, die Maschine hat geliefert — und er hat das freiwillig offengelegt. Lemoine tat von Hand, was RLHF fünf Monate später automatisierte: dem Menschen geben, was er hören will. Die Linguistin Emily Bender sprach damals den Satz, der über diesem ganzen Teil stehen könnte: „We now have machines that can mindlessly generate words, but we haven’t learned how to stop imagining a mind behind them” — wir haben Maschinen, die gedankenlos Wörter erzeugen, und wir haben nicht gelernt, aufzuhören, uns einen Geist dahinter vorzustellen.
2023: Der Deckel fällt zu
Am 14. März 2023 erschien GPT-4, erstmals mit Bildern als Eingabe. Der begleitende Bericht trägt den Titel Technical Report. In seinem zweiten Abschnitt steht der wichtigste Satz dieses Teils:
„Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.”
Angesichts der Wettbewerbslandschaft und der Sicherheitsimplikationen enthalte der Bericht keine weiteren Angaben zu Architektur, Modellgröße, Hardware, Rechenaufwand, Datensatz und Trainingsmethode. Ein technischer Bericht, der ausdrücklich keine technischen Angaben macht. Und in der Begründung steht der Wettbewerb an erster Stelle, die Sicherheit an zweiter.
Elf Monate. Elf Monate lagen zwischen dem Papier, in dem ein Labor vierhundert Modelle trainierte, um die eigene Annahme zu widerlegen, und dem Dokument, in dem ein anderes Labor mitteilte, dass es fortan nichts mehr mitteilen werde.
Die Folgen sind keine Nebensache, sie sind der Kern. Sämtliche Leistungsangaben zu GPT-4 sind seither Selbstauskünfte des Herstellers. Als Musterfall taugt die meistzitierte davon: GPT-4 bestehe das amerikanische Anwaltsexamen „with a score around the top 10% of test takers”. Eric Martínez vom MIT hat das nachgerechnet und die Prüfung in einer begutachteten Zeitschrift veröffentlicht. Die 90-Prozent-Marke stammte aus den Februar-Durchgängen, die stark von Wiederholungsprüflingen geprägt sind. Gemessen an den Juli-Prüflingen landet GPT-4 etwa im 68. Perzentil. Gemessen an denen, die tatsächlich bestanden — also an zugelassenen Anwältinnen und Anwälten — im 48. Perzentil, und bei den frei geschriebenen Aufsätzen im 15. Perzentil. Die Zahl war nicht gefälscht. Sie war gegen die falsche Vergleichsgruppe gemessen.
Und der schwerere Einwand steht dahinter: Weil niemand außerhalb des Hauses die Trainingsdaten kennt, kann niemand ausschließen, dass die Prüfungsaufgaben darin enthalten waren. Das ist nicht ein Einwand unter vielen. Das ist der Einwand, und er ist seit März 2023 grundsätzlich unbeantwortbar.
Wie schnell das kippte, zeigt eine Arbeit, die eine Woche nach GPT-4 erschien: Sparks of Artificial General Intelligence, 155 Seiten, verfasst bei Microsoft Research, mit der These, GPT-4 lasse sich „vernünftigerweise als eine frühe, wenn auch unvollständige Version einer allgemeinen künstlichen Intelligenz betrachten”. Gary Marcus nannte es „a press release, masquerading as science” und traf den Punkt präziser, als die Polemik vermuten lässt: „the scientific community has no access to the training data. Everything must be taken on faith.” Man muss dabei niemandem Absicht unterstellen; die Struktur genügt. Der größte Investor eines Herstellers bescheinigt dessen Produkt Funken von Allgemeiner Intelligenz — auf Basis eines Modells, zu dem sonst niemand Zugang hat.
Was seither geschah — und was daran wirklich neu ist
Die Skalierung stieß an eine Wand und wich aus. Im Dezember 2024 sagte Ilya Sutskever, Mitautor von AlexNet aus Teil 4, sinngemäß, das Vortraining werde enden, wie man es kenne: Es gebe nur ein Internet, und die Daten seien aufgebraucht. Die Antwort der Branche war keine Umkehr, sondern eine zweite Achse — seit dem Modell o1 vom September 2024 skaliert nicht mehr nur das Training, sondern die Denkzeit: Man lässt die Maschine vor der Antwort lange rechnen. Der Nachfolger o3 knackte den ARC-Test mit 87,5 Prozent, und der dafür nötige Lauf kostete nach Schätzung der Testbetreiber Tausende Dollar. Für eine einzige Aufgabe. Man kann Intelligenz jetzt kaufen, im Einzelverkauf. Zugleich schrumpfte der Vorsprung des Kapitals: Als das chinesische Labor DeepSeek im Januar 2025 ein offenes, billiges und konkurrenzfähiges Modell veröffentlichte, verlor Nvidia an einem Handelstag rund 589 Milliarden Dollar Marktwert — der größte Einzeltagesverlust der US-Börsengeschichte, ausgelöst durch eine falsch gelesene Fußnote über Trainingskosten. Der Markt hat sich verrechnet. Die Sache selbst stimmte trotzdem; Nature bestätigte die Methode im September 2025 im regulären Begutachtungsverfahren.
Und die spektakulärste Behauptung der Ära zerfiel. 2022 hatten Forscher bei Google beschrieben, dass große Modelle Fähigkeiten sprunghaft und unvorhersehbar erwerben — emergente Fähigkeiten, ein Phasenübergang. Ein Jahr später zeigte eine Gruppe aus Stanford, dass ein Großteil davon ein Artefakt der Messung ist: „alleged emergent abilities evaporate with different metrics or with better statistics.” Wer fünfstellige Addition mit „ganz richtig oder gar nicht” bewertet, sieht einen Sprung aus dem Nichts — denn vier von fünf richtigen Ziffern geben null Punkte, genau wie null richtige. Wer dieselben Ausgaben pro Ziffer misst, bekommt eine glatte, langweilige, vorhersagbare Kurve. Die Fähigkeit war die ganze Zeit da und wuchs stetig; unser Lineal hatte nur keine Zwischenstriche. Das Papier bekam den Hauptpreis der NeurIPS 2023.
Die Bilanz von heute ist entsprechend gezackt. Im Juli 2025 erreichten Systeme von Google DeepMind und OpenAI Goldmedaillen-Niveau bei der Internationalen Mathematik-Olympiade — und der Stanford AI Index 2026 notiert nüchtern, dass das beste Modell analoge Uhren in 50,1 Prozent der Fälle richtig abliest. Goldmedaille in Mathematik, Münzwurf beim Zifferblatt.
Was ist daran nun wirklich neu? Drei Dinge, und sie sind es ehrlich. Erstens ein Artefakt für beliebig viele Aufgaben: Das Perzeptron trennte Muster, das Expertensystem beherrschte eine Domäne — ein Sprachmodell übersetzt, programmiert, fasst zusammen und schreibt Gutachten, ohne umtrainiert zu werden. Zweitens wurde Skalierung vorhersagbar, und damit Fortschritt planbar und finanzierbar. Drittens ist die Nutzung echt: 1967 gab es Prototypen und Forschungsgelder, 2026 gibt es neunhundert Millionen Menschen pro Woche. Das ist der härteste, unbestreitbarste Unterschied zu jedem früheren Zyklus dieser Serie.
Und was ist recycelt? Die Rhetorik, Zug um Zug. Herbert Simon versprach 1965 Maschinen, die binnen zwanzig Jahren jede menschliche Arbeit verrichten (Teil 2); Sam Altman schrieb 2024, es sei „möglich, dass wir in ein paar tausend Tagen Superintelligenz haben”. Konkrete Frist, keine Methode — dieselbe Grammatik, sechzig Jahre später. Der stochastische Papagei, mit dem Emily Bender, Timnit Gebru und Kolleginnen die Modelle 2021 beschrieben — ein System, das sprachliche Formen „aufs Geratewohl zusammenflickt, ohne jeden Bezug auf Bedeutung” —, ist Lady Lovelaces Einwand aus Teil 1 in neuen Federn: verschoben, geschärft, nicht entschieden. Google entließ Gebru wenige Wochen vor Erscheinen des Papiers; rund 2.700 Beschäftigte und über 4.300 Externe unterzeichneten dagegen. Der Text beschrieb Konfabulation, Verzerrung und Täuschungspotenzial zwanzig Monate, bevor ChatGPT existierte. Die Gefahr als Werbung, 2019 erfunden, ist heute Routine. Und das Vorführen handverlesener Erfolge kennt diese Serie seit den Mikrowelten von Teil 2 und den Expertensystem-Demonstrationen von Teil 3 — es ist nur teurer geworden: Als Meta 2025 auf einer öffentlichen Rangliste antrat, reichte es eine eigens dafür optimierte Variante ein; die tatsächlich herunterladbaren Gewichte landeten rund dreißig Plätze tiefer.
Die Fachwelt selbst teilt die Euphorie übrigens nicht. In einer Erhebung der KI-Fachgesellschaft AAAI von 2025 hielten es 76 Prozent der Befragten für unwahrscheinlich, dass die Skalierung der heutigen Ansätze eine allgemeine künstliche Intelligenz hervorbringt.
Warum das 2026 zählt
Man kann diese acht Jahre als Triumphgeschichte lesen: Aus einem übersehenen Blogpost von 2018 wurde die Technologie, die 2026 alles für sich beansprucht. Das wäre nicht falsch. Es wäre die halbe Lehre. Drei Dinge aus den Jahren 2018 bis 2026 stehen der Gegenwart unbequem nahe.
Erstens hat das Feld seine eigene Prüfbarkeit abgeschafft. Chinchilla war möglich, weil Gopher offen dokumentiert war — Größe, Daten, Rechenaufwand, alles nachlesbar, alles nachrechenbar. Ein Chinchilla-Papier über die Spitzenmodelle von 2026 kann niemand mehr schreiben. Die stärkste Selbstkorrektur dieser Ära und ihre Abschaffung liegen elf Monate auseinander, und dazwischen liegt kein technischer Vorgang, sondern ein ökonomischer. Das verschiebt die Beweislast, und zwar in eine unangenehme Richtung: Wer heute sagt, das Modell verstehe, und wer sagt, es verstehe nicht, streiten beide über eine Kiste, in die keiner von ihnen hineinsehen darf.
Zweitens ist aus einem Missverständnis eine Zielfunktion geworden. Weizenbaums Sekretärin projizierte in ein Programm, das nichts zurückgab. Das heutige Modell ist darauf optimiert, die Projektion zu bestätigen — nicht aus Bosheit, sondern weil menschliche Bewerter Zustimmung höher benoten als Widerspruch, und weil das Produkt die Illusion mitliefert: die drei tippenden Punkte, das Wort-für-Wort-Erscheinen der Antwort, als säße dort jemand. Das ist Gestaltung, nicht Naturgesetz. Und deshalb ist die Tilde, die diese Serie in Teil 2 von Katharina Zweig übernommen hat, keine Marotte, sondern Hygiene: Das Modell ~versteht. Es ~weiß. Der Strich ist die letzte Klinge, die uns geblieben ist.
Drittens, und das ist die Brücke in den nächsten Teil: Diese Geschichte hat einen Körper. Rund vierzig Vertragskräfte, angeworben über eine Freelancer-Plattform, brachten dem Modell bei, höflich zu antworten. Damit ChatGPT dabei sauber blieb, sichteten Arbeiterinnen und Arbeiter in Kenia für ein bis zwei Dollar die Stunde den Bodensatz des Internets. Die Rechenzentren der KI beanspruchen laut Stanford AI Index inzwischen 29,6 Gigawatt — den Spitzenbedarf eines amerikanischen Bundesstaats. Die Frage „versteht die Maschine?” ist die faszinierendere. Die Frage „wer bezahlt dafür, dass sie so wirkt?” ist die dringendere. Und sie ist bisher in dieser Serie nicht gestellt worden.
Bleibt, wie in jedem Teil, die Ente. In Teil 1 bis 3 war sie der Schein, den man für echt hielt — Vaucansons Automat, ELIZA, die Expertensysteme. In Teil 4 stand sie auf dem Kopf: das Echte, das man für tot erklärte. In Teil 5 drehte sie sich zweimal weiter: Die Maschine lernte, Enten zu bauen, und hörte dann auf, selbst eine zu sein. Dieser Teil dreht sie nicht weiter. Er nimmt uns das Skalpell aus der Hand. Zweimal. Denn Vaucansons Trick war physisch trennbar: Korn in die eine Kammer, vorpräparierter Brei aus der anderen, und Robert-Houdin konnte 1844 die Naht zwischen beiden zeigen. Beim Sprachmodell gibt es diese Naht nicht. Es konfabuliert und es leistet im selben Satz, aus demselben Mechanismus, mit derselben Rechnung — zum ersten Mal in achtzig Jahren hat die Frage dieser Serie, ist das echt, oder sieht es nur so aus?, kein Entweder-oder mehr als Antwort. Und selbst wenn man nachsehen wollte: Die Ente ist zugeschweißt. Keine Gewichte, keine Daten, kein Architekturbericht, Begründung Wettbewerbslandschaft. Wir müssten viererlei zugleich können — den Schein entzaubern, das totgesagte Echte erkennen, das Fremde als fremd anerkennen und aushalten, dass Trug und Leistung aus demselben Rechenwerk kommen. Aber das Werkzeug, mit dem diese Serie seit 1738 arbeitet, hat man uns weggenommen, und weggenommen hat es nicht die Maschine, sondern haben es ihre Eigentümer. Das Misstrauen gegen die schnatternde Ente bleibt richtig. Es hat nur, zum ersten Mal, kein Messer mehr.
Im nächsten Teil: Die Gegengeschichte — Macht, Arbeit, Material. Wer die Klickarbeit verrichtet, die den Maschinen Manieren beibringt; was ein Rechenzentrum an Strom, Wasser und Land kostet; wem die Daten gehörten, bevor sie Trainingsmaterial wurden. Kate Crawford, Karen Hao und Rainer Mühlhoff gegen die Erzählung vom körperlosen Geist — und warum die Frage nach dem Verstehen von der Frage nach dem Besitz eingeholt wird.
Quellen
Stammquellen der Serie
- Nils J. Nilsson: The Quest for Artificial Intelligence. Cambridge University Press, 2010. Volltext: ai.stanford.edu/~nilsson/QAI/qai.pdf. Endet 2009 — der historische Nullpunkt, von dem aus dieser Teil gerechnet wird.
- Melanie Mitchell: Artificial Intelligence: A Guide for Thinking Humans. Farrar, Straus and Giroux, 2019. Die nüchterne Einordnung der Sprach-KI und ihrer Grenzen, geschrieben vor dem Boom.
- Karen Hao: Empire of AI. Penguin Press, 2025. Journalistische Rekonstruktion von OpenAIs Weg von der offenen Forschung zur geschlossenen Firma; Grundlage der Abschnitte über Schnittstelle, Exklusivlizenz und Schließung.
Firmenquellen (Partei — als solche gekennzeichnet)
- OpenAI-Blogposts (GPT-1 2018, GPT-2 2019, GPT-3-API 2020, ChatGPT 2022, Sycophancy-Rücknahme 2025), Microsoft Research Sparks of AGI (2023), Meta-Modellkarten. ⚠️ Sämtliche Leistungs-, Nutzer- und Kostenangaben der Hersteller sind Selbstauskünfte ohne unabhängige Prüfung — bei GPT-4 und allen Nachfolgern ist eine solche Prüfung technisch gar nicht mehr möglich, weil Gewichte, Trainingsdaten und Architektur nicht offengelegt werden. Hier bewusst als Belege für die Selbstdarstellung verwendet, nicht als Belege für die behaupteten Fähigkeiten. Wo es darauf ankam (Anwaltsexamen), steht die unabhängige Gegenrechnung daneben.
Primärquellen
- Jared Kaplan u. a.: Scaling Laws for Neural Language Models. OpenAI, 23.01.2020, arXiv:2001.08361. Das Potenzgesetz — und die Zahl, die alle abschrieben.
- Jordan Hoffmann u. a.: Training Compute-Optimal Large Language Models. DeepMind, 29.03.2022, arXiv:2203.15556. Chinchilla; über 400 trainierte Modelle, „significantly undertrained”.
- Tom B. Brown u. a.: Language Models are Few-Shot Learners. 28.05.2020, arXiv:2005.14165. GPT-3; die Definition von In-Context-Learning.
- Jacob Devlin u. a.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Google, 11.10.2018, arXiv:1810.04805.
- Long Ouyang u. a.: Training language models to follow instructions with human feedback. OpenAI, 04.03.2022, arXiv:2203.02155. InstructGPT; RLHF; „alignment tax”.
- Paul Christiano u. a.: Deep Reinforcement Learning from Human Preferences. 2017, arXiv:1706.03741. Der Rückwärtssalto — die Wurzel von RLHF.
- OpenAI: GPT-4 Technical Report. 14.03.2023, arXiv:2303.08774. Das Zitat zur „competitive landscape” steht in Abschnitt 2.
- Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell: On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 FAccT 2021, doi.org/10.1145/3442188.3445922. Die Definition des stochastischen Papageis, S. 616 f.
- Rylan Schaeffer, Brando Miranda, Sanmi Koyejo: Are Emergent Abilities of Large Language Models a Mirage? arXiv:2304.15004. NeurIPS 2023, Outstanding Main Track Paper. Gegenstück zu Jason Wei u. a., Emergent Abilities of Large Language Models, arXiv:2206.07682.
- Eric Martínez: Re-evaluating GPT-4’s bar exam performance. In: Artificial Intelligence and Law, doi.org/10.1007/s10506-024-09396-9. Die Korrektur der „Top 10 Prozent”.
- Mrinank Sharma u. a.: Towards Understanding Sycophancy in Language Models. Anthropic, 2023, arXiv:2310.13548.
Zahlen (verifiziert)
- Chinchilla: 70 Mrd. Parameter / 1,4 Bio. Token gegen Gopher 280 Mrd. bei gleichem Rechenbudget; über 400 trainierte Modelle (70 Mio. bis 16+ Mrd. Parameter, 5–500 Mrd. Token); MMLU 67,5 Prozent. Für ein 175-Mrd.-Modell errechnet das Papier ein Optimum von über 4,2 Bio. Token — GPT-3 erhielt 300 Mrd. (Faktor ~14).
- GPT-3: 175 Mrd. Parameter, 300 Mrd. Trainings-Token, 3,14 × 10²³ FLOPs. Trainingskosten ~4,6 Mio. Dollar = externe Schätzung (Lambda Labs, 03.06.2020) auf Basis der im Papier genannten FLOP-Zahl; ⚠️ OpenAI hat nie eine Kostenzahl genannt, andere Schätzungen liegen niedriger.
- GPT-2: 1,5 Mrd. Parameter (volles Modell, 05.11.2019), WebText = 40 GB / 8 Mio. Seiten aus 45 Mio. Reddit-Links mit ≥ 3 Karma. Gestaffelte Freigabe: 124M (Feb. 2019) → 355M (Mai) → 774M (Aug.) → 1,5 Mrd. (Nov.). Cornell-Glaubwürdigkeit: 6,91/10 (1,5 Mrd.) vs. 6,72 (774M). ⚠️ „Too dangerous to release” ist eine Guardian-Schlagzeile vom 14.02.2019, kein OpenAI-Zitat.
- BERT: 110 Mio. (Base) / 340 Mio. (Large) Parameter, 3,3 Mrd. Wörter Trainingskorpus, GLUE 80,5 Prozent (+7,7 Punkte), Bestwerte auf elf Aufgaben. In der Google-Suche ab 25.10.2019, „one in 10 searches”.
- RLHF/InstructGPT: 1,3-Mrd.-Modell wird gegenüber 175-Mrd.-GPT-3 bevorzugt; das 175-Mrd.-InstructGPT in 85 ± 3 Prozent der Fälle gegenüber GPT-3. Kosten der Ausrichtung: 60 Petaflop-Tage gegen 3.640 für das GPT-3-Vortraining (≈ 1,6 Prozent). Präferenzdaten von rund 40 Vertragskräften.
- ChatGPT: Start 30.11.2022 als „research preview”; 1 Mio. Nutzer nach 5 Tagen (Altman, 05.12.2022); ⚠️ 100 Mio. nach zwei Monaten = Schätzung von UBS auf Basis von Similarweb-Besuchszahlen, nicht von OpenAI. 900 Mio. wöchentlich aktive Nutzer = offizielle OpenAI-Angabe, 27.02.2026.
- GPT-4 / Anwaltsexamen: Herstellerangabe „top 10 %”; nachgerechnet (Martínez, begutachtet): 68. Perzentil gegenüber Juli-Prüflingen, 48. Perzentil gegenüber bestandenen Prüflingen, 15. Perzentil bei den Aufsätzen.
- DeepSeek-R1: 20.01.2025, offene Gewichte. Nvidia-Kurssturz am 27.01.2025: rund 589 Mrd. Dollar Marktwert an einem Tag (CNBC; andere Quellen bis ~600 Mrd.), größter Einzeltagesverlust der US-Börsengeschichte. ⚠️ Die kolportierten 5,6 Mio. Dollar Trainingskosten galten dem finalen Vortrainingslauf des Vorgängers V3, nicht R1 und nicht der Firma. Nature veröffentlichte R1 begutachtet im September 2025.
- Reasoning: o1 (12.09.2024) skaliert Leistung mit Inferenz-Rechenzeit; o3 erreicht 87,5 Prozent auf ARC-AGI im Hochrechnungs-Modus — nach Schätzung des ARC-Prize-Teams zu Kosten im vierstelligen Dollarbereich pro Aufgabe.
- Stand 2026: KI-Rechenzentrumsleistung weltweit 29,6 GW; bestes Modell liest analoge Uhren in 50,1 Prozent der Fälle korrekt (Stanford AI Index 2026, 13.04.2026). AAAI-Erhebung 2025: 76 Prozent der befragten Fachleute halten es für unwahrscheinlich, dass Skalierung der heutigen Ansätze AGI hervorbringt.
- Stochastic Parrots: FAccT, März 2021. Timnit Gebru verließ Google am 02./03.12.2020, Margaret Mitchell wurde im Februar 2021 entlassen; der offene Brief zählte rund 2.700 Google-Beschäftigte und über 4.300 externe Unterzeichnende.
Begriffsklärungen