GPT-3 löst Aufgaben, ohne dafür trainiert zu werden

Am 28. Mai 2020 erschien das Papier „Language Models are Few-Shot Learners" von 31 Autoren um Tom B. Brown.¹ Es beschreibt GPT-3, ein Sprachmodell mit 175 Milliarden Parametern — nach eigener Angabe zehnmal mehr als jedes vorherige nicht-sparse Sprachmodell.¹ Eingesetzt wird das Modell „without any gradient updates or fine-tuning"; Aufgabenstellung und Beispiele werden ihm allein als Text übergeben.¹ Zwei Wochen darauf, am 11. Juni 2020, öffnete OpenAI eine geschlossene Beta seiner Schnittstelle, hinter der diese Modellfamilie stand.²

Bis dahin war der übliche Weg, ein vortrainiertes Modell für jede Aufgabe mit zusätzlichen Daten nachzutrainieren.¹ Das Papier führt stattdessen Aufgaben vor, die das Modell ohne solche Anpassung bewältigt: Übersetzung, Frage-Antwort-Aufgaben und Lückentexte, dazu Aufgaben, die im Moment der Bearbeitung Schlussfolgerungen verlangen — Wörter entwirren, ein neu eingeführtes Wort in einem Satz verwenden, dreistellige Zahlen addieren.¹ Das Papier benennt auch, wo es nicht trägt: Es nennt Datensätze, bei denen das Verfahren weiterhin scheitert, und methodische Probleme, die aus dem Training auf großen Web-Korpora folgen.¹ OpenAI begründete den Zugang über eine Schnittstelle statt über ein frei verfügbares Modell damit, dass sich der Zugriff so nachträglich anpassen lasse; schädliche Verwendungen würden gesperrt.²

Die Schnittstelle blieb zunächst eine Warteliste.⁴ Nach Angaben des Unternehmens lief GPT-3 in mehr als 300 Anwendungen, wurde von Zehntausenden Entwicklern genutzt und erzeugte täglich 4,5 Milliarden Wörter.³ Am 18. November 2021 fiel die Warteliste weg, womit sich Entwickler in unterstützten Ländern ohne Vorprüfung anmelden konnten — bestimmte Anwendungsfelder blieben ausgeschlossen, weil das Unternehmen schädliche von zulässigen Verwendungen nicht zuverlässig unterscheiden konnte.⁴