Zwei Netze gegeneinander — Generative Adversarial Networks
Ein Aufsatz von 2014 lässt zwei neuronale Netze gegeneinander antreten: Eines erzeugt Daten, das andere soll echte von erzeugten unterscheiden. Im theoretischen Optimum bildet das erste die echten Daten so genau nach, dass das zweite nicht mehr unterscheiden kann.
Am 10. Juni 2014 wurde der Aufsatz "Generative Adversarial Networks" bei arXiv eingereicht.1 Veröffentlicht wurde er im Tagungsband der Konferenz NIPS 2014.2 Verfasst haben ihn acht Autoren: Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville und Yoshua Bengio.1
Das Verfahren besteht aus zwei Netzen.1,2 Ein erzeugendes Modell bildet die Verteilung der Daten nach; ein unterscheidendes schätzt, ob eine Probe aus den Trainingsdaten stammt oder erzeugt wurde.2 Trainiert wird das erste darauf, die Fehlerquote des zweiten zu maximieren — die Autoren beschreiben das als Minimax-Spiel zweier Spieler.1 Im theoretischen Optimum gibt das erzeugende Modell die Verteilung der Daten exakt wieder, und das unterscheidende gibt überall die Wahrscheinlichkeit 1/2 aus, kann also nicht mehr unterscheiden.1
Ein praktischer Vorteil lag in dem, was wegfiel: Sind beide Netze mehrschichtige Perzeptrone, lässt sich das ganze System mit Backpropagation trainieren — ohne Markow-Ketten und ohne aufgefaltete Näherungsverfahren, weder beim Training noch beim Erzeugen.1
Auf die Idee, zwei Netze gegeneinander antreten zu lassen, kam Goodfellow 2014 in der Montrealer Kneipe Les 3 Brasseurs, als Freunde ihn um Hilfe bei einem Rechner baten, der selbst Fotos erzeugen sollte; zu Hause programmierte er bis in die frühen Morgenstunden, und das Programm lief beim ersten Versuch.3 Yann LeCun, leitender KI-Forscher bei Facebook, nannte GANs „the coolest idea in in the last 20 years“, für ihn die reizvollste Idee des Deep Learning in zwanzig Jahren.3
Als naheliegende Einsatzfelder galten Spiele und Mode; in der Medizin könnten erzeugte Patientendaten fehlende echte ersetzen, und in der Teilchenphysik entwickelten Forscher ein GAN, das Teilchensimulationen schneller vorhersagt.3 Zugleich eignet sich ein Verfahren für realistische Fälschungen auch für Falschnachrichten.3 Goodfellow selbst glaubt nicht an eine rein technische Lösung gegen Fälschungen; nötig seien gesellschaftliche Antworten, etwa Kindern in Debattierkursen kritisches Denken beizubringen.3
Siehe auch
- Diffusionsmodelle setzen sich in der Bildgenerierung durch 2022 Dieselbe Aufgabe, sieben Jahre später mit einer anderen Methode gelöst.
Hierher verwiesen
- Gemini: Google zeigt 2023 ein von Grund auf multimodales Modell 2023 Neun Jahre zuvor der erste Weg, Bilder überhaupt maschinell zu erzeugen.
- Diffusionsmodelle setzen sich in der Bildgenerierung durch 2022 Dieselbe Aufgabe, Bilder zu erzeugen, die echt wirken, mit einem älteren Verfahren.