Einträge zu diesem Thema (3)
-
2020
GPT-3 löst Aufgaben, ohne dafür trainiert zu werden
Am 28. Mai 2020 stellten 31 Autoren um Tom B. Brown ein Modell mit 175 Milliarden Parametern vor, das Aufgaben aus einer Anweisung und einigen Beispielen löst. Seine Gewichte werden dafür nicht angepasst. Zwei Wochen später gab OpenAI eine geschlossene Beta seiner Schnittstelle frei. -
2018
Google stellt BERT vor, ein Sprachmodell, das in beide Richtungen liest
Im Oktober 2018 stellt Google BERT vor, ein Sprachmodell, das jedes Wort aus dem Kontext links und rechts davon erschließt. Vortrainiert auf unbeschriftetem Text, lässt es sich mit wenig Aufwand für einzelne Aufgaben der Sprachverarbeitung nachtrainieren. -
2017
Die Transformer-Architektur wird vorgestellt
Am 12. Juni 2017 erscheint der Aufsatz „Attention Is All You Need“. Die darin beschriebene Transformer-Architektur stützt sich allein auf Attention und kommt ohne rekurrente und faltende Netze aus; auf ihr bauen GPT, BERT und die meisten bekannten großen Sprachmodelle auf.