Themen dieser Epoche (6)
-
Maschinen schlagen Menschen — und dann Probleme
1997 2021Erst der Wettkampf: Deep Blue gewinnt 1997 mit roher Rechenleistung gegen Kasparow, Watson 2011 mit Sprachverarbeitung bei Jeopardy!, AlphaGo 2016 mit gelernter Intuition gegen Lee Sedol. Dazwischen zeigt AlexNet 2012 auf dem ImageNet-Wettbewerb, dass dieselbe Technik auch dort trägt, wo es keinen Gegner gibt — und AlphaFold wendet sie 2021 auf ein offenes Problem der Biologie an.
-
Die Maschinen unter den Modellen
Der Bestand erklärt die Deep-Learning-Ära bisher über Architekturen und Wettbewerbe. Die zweite Hälfte der Erklärung fehlt: Dieselben Verfahren waren teilweise jahrzehntelang bekannt und wurden erst brauchbar, als die Hardware sie tragen konnte. Das Thema verfolgt, worauf gerechnet wird und wer es herstellt — von der Zweckentfremdung der Grafikkarte über eigens entworfene Beschleuniger bis zu den Rechenzentren, deren Strom- und Wasserbedarf inzwischen eine eigene Frage ist. Damit hängt es an den Bereichen Energie und Handel, nicht nur an diesem.
-
Woher die Daten kommen
Ein Modell kann nur wissen, was in seinen Daten steht. Wer die Daten zusammengetragen hat, unter welchen Bedingungen sie beschriftet wurden und ob die Urheber gefragt worden sind, entscheidet deshalb über mehr als die Genauigkeit — es entscheidet, wessen Sprache, wessen Bilder und wessen Auslassungen ein System übernimmt. Das Thema sammelt die Sammlungen selbst und die Auseinandersetzungen um sie: die Arbeit des Beschriftens, den Zugriff auf das offene Netz, die Klagen von Rechteinhabern. Es ist die Gegenseite zum Thema über die Rechenleistung — beide erklären, was hinter den Ergebnissen steht, die anderswo im Bestand verzeichnet sind.
-
Bilder erzeugen, Bilder verstehen
2014 2023Erst lernen Maschinen, Bilder zu erzeugen, die echt aussehen; dann, Bilder zu lesen. Zwischen beidem liegen neun Jahre und ein Wechsel der Methode — und am Ende Modelle, die Text, Bild und Ton in einem System verarbeiten.
-
Rekursive Selbstverbesserung
Systeme, die an ihrer eigenen Leistung arbeiten, und die Frage, ob jede Verbesserung die nächste erleichtert. Der Gedanke ist älter als seine Umsetzung; nachweisbar wird er erst, wo ein Verfahren ohne menschliche Vorlage auskommt — ein Programm, das gegen sich selbst spielt, ein Suchverfahren, das Netzarchitekturen entwirft, ein Modell, das die Daten für sein eigenes Training erzeugt. Das Thema sammelt die Stellen, an denen sich das messen lässt, und unterscheidet sie von denen, an denen es bei der Behauptung bleibt. Die Zeitspanne beginnt dort, wo belegbare Beispiele einsetzen, nicht dort, wo die Idee zuerst formuliert wurde — findet die Recherche einen früheren Anker, wird sie nach vorn verlängert.
-
Eine Architektur und ihre Skalierung
2017 2020Die Transformer-Architektur ersetzt 2017 die sequenzielle Verarbeitung durch Aufmerksamkeit und macht Sprachmodelle parallel trainierbar. BERT zeigt ein Jahr darauf, was sie im Sprachverstehen leistet, GPT-3 zeigt 2020, was mit ihr geschieht, wenn man sie um zwei Größenordnungen wachsen lässt.