Google stellt BERT vor, ein Sprachmodell, das in beide Richtungen liest
Im Oktober 2018 stellt Google BERT vor, ein Sprachmodell, das jedes Wort aus dem Kontext links und rechts davon erschließt. Vortrainiert auf unbeschriftetem Text, lässt es sich mit wenig Aufwand für einzelne Aufgaben der Sprachverarbeitung nachtrainieren.
BERT (Bidirectional Encoder Representations from ) wird mit zwei Aufgaben vortrainiert, Masked Language Modeling und Next Sentence Prediction.1 Es bezieht für jedes Wort den Kontext links und rechts davon in einer gemeinsamen Sicht ein, anders als das ältere ELMo, das beide Lesrichtungen getrennt behandelte.3 Google beschreibt BERT als erste tief bidirektionale Sprachrepräsentation, die ohne Beschriftung allein auf einem Textkorpus vortrainiert wurde, in diesem Fall der Wikipedia.2
Das vortrainierte Modell lässt sich mit einer einzigen zusätzlichen Ausgabeschicht für eine Vielzahl von Aufgaben nachtrainieren, etwa für die Beantwortung von Fragen und das Schlussfolgern aus Sätzen, ohne die Architektur für die jeweilige Aufgabe wesentlich umzubauen.1 Bei der Vorstellung erreichte es in elf Aufgaben der Sprachverarbeitung die bis dahin besten Werte.1
Siehe auch
- Die Transformer-Architektur wird vorgestellt 2017 Die Architektur, von der BERT eine Hälfte nimmt: den Kodierer, der einen Satz in beide Richtungen zugleich liest.
- GPT-3 löst Aufgaben, ohne dafür trainiert zu werden 2020 Zwei Lesarten derselben Architektur: hier für jede Aufgabe nachtrainiert, dort im Text selbst unterwiesen.