---
id: bert-google-2018
title: Google stellt BERT vor, ein Sprachmodell, das in beide Richtungen liest
date: '2018-01-01'
datePrecision: year
dateSources:
  - s1
  - s3
summary: >-
  Im Oktober 2018 stellt Google BERT vor, ein Sprachmodell, das jedes Wort aus
  dem Kontext links und rechts davon erschließt. Vortrainiert auf
  unbeschriftetem Text, lässt es sich mit wenig Aufwand für einzelne Aufgaben
  der Sprachverarbeitung nachtrainieren.
themeId: theme-sprachmodelle-skalieren
wikidata:
  - id: Q61726893
    name: 'BERT'
verification: verified
sources:
  - key: s1
    title: >-
      BERT: Pre-training of Deep Bidirectional Transformers for Language
      Understanding
    publisher: arXiv (Cornell University)
    url: https://arxiv.org/pdf/1810.04805
    accessedAt: '2026-09-15'
  - key: s2
    title: >-
      Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language
      Processing
    publisher: Google Research
    url: https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/
    accessedAt: '2026-09-15'
  - key: s3
    title: What Is Google's BERT and Why Does It Matter?
    publisher: NVIDIA
    url: https://www.nvidia.com/en-us/glossary/bert/
    accessedAt: '2026-09-15'
provenance:
  origin: legacy-entries-ts
  reviewedBy: recherche-nachtrag
  reviewedAt: '2026-09-15'
  migratedAt: '2026-09-14'
seeAlso:
  - id: transformer-2017
    note: >-
      Die Architektur, von der BERT eine Hälfte nimmt: den Kodierer, der einen
      Satz in beide Richtungen zugleich liest.
  - id: gpt-3-few-shot-learning-2020
    note: >-
      Zwei Lesarten derselben Architektur: hier für jede Aufgabe
      nachtrainiert, dort im Text selbst unterwiesen.
---
BERT (Bidirectional Encoder Representations from Transformers) wird mit zwei
Aufgaben vortrainiert, Masked Language Modeling und Next Sentence
Prediction.[^s1] Es bezieht für jedes Wort den Kontext links und rechts davon in
einer gemeinsamen Sicht ein, anders als das ältere ELMo, das beide Lesrichtungen
getrennt behandelte.[^s3] Google beschreibt BERT als erste tief bidirektionale
Sprachrepräsentation, die ohne Beschriftung allein auf einem Textkorpus
vortrainiert wurde, in diesem Fall der Wikipedia.[^s2]

Das vortrainierte Modell lässt sich mit einer einzigen zusätzlichen
Ausgabeschicht für eine Vielzahl von Aufgaben nachtrainieren, etwa für die
Beantwortung von Fragen und das Schlussfolgern aus Sätzen, ohne die Architektur
für die jeweilige Aufgabe wesentlich umzubauen.[^s1] Bei der Vorstellung
erreichte es in elf Aufgaben der Sprachverarbeitung die bis dahin besten
Werte.[^s1]

Ende der Datei: 3 Quellen.