Die Transformer-Architektur wird vorgestellt
Am 12. Juni 2017 erscheint der Aufsatz „Attention Is All You Need“. Die darin beschriebene Transformer-Architektur stützt sich allein auf Attention und kommt ohne rekurrente und faltende Netze aus; auf ihr bauen GPT, BERT und die meisten bekannten großen Sprachmodelle auf.
Am 12. Juni 2017 reichten Ashish Vaswani und sieben Mitautoren den Aufsatz „Attention Is All You Need“ bei arXiv ein.1 Modelle für die Übersetzung von Sequenzen beruhten bis dahin auf rekurrenten oder faltenden neuronalen Netzen; der stützt sich dagegen ausschließlich auf und lässt sich effizient parallelisieren.1 Auf ihr bauen die GPT-Modelle, BERT und die meisten der bekannten großen Sprachmodelle auf.2,3
Siehe auch
- ChatGPT wird veröffentlicht 2022 Die Architektur aus diesem Eintrag trägt fünf Jahre später die Anwendung, die das Thema aus dem Fach holt.
Hierher verwiesen
- ChatGPT wird veröffentlicht 2022 Die Architektur, ohne die es das Modell dahinter nicht gäbe.
- GPT-3 löst Aufgaben, ohne dafür trainiert zu werden 2020 Dieselbe Architektur, nur in eine Richtung gelesen und um drei Größenordnungen weiter gebaut.
- Google stellt BERT vor, ein Sprachmodell, das in beide Richtungen liest 2018 Die Architektur, von der BERT eine Hälfte nimmt: den Kodierer, der einen Satz in beide Richtungen zugleich liest.