{
  "id": "bert-google-2018",
  "title": "Google stellt BERT vor, ein Sprachmodell, das in beide Richtungen liest",
  "date": "2018-01-01",
  "summary": "Im Oktober 2018 stellt Google BERT vor, ein Sprachmodell, das jedes Wort aus dem Kontext links und rechts davon erschließt. Vortrainiert auf unbeschriftetem Text, lässt es sich mit wenig Aufwand für einzelne Aufgaben der Sprachverarbeitung nachtrainieren.",
  "body": "BERT (Bidirectional Encoder Representations from Transformers) wird mit zwei Aufgaben vortrainiert, Masked Language Modeling und Next Sentence Prediction.[^s1] Es bezieht für jedes Wort den Kontext links und rechts davon in einer gemeinsamen Sicht ein, anders als das ältere ELMo, das beide Lesrichtungen getrennt behandelte.[^s3] Google beschreibt BERT als erste tief bidirektionale Sprachrepräsentation, die ohne Beschriftung allein auf einem Textkorpus vortrainiert wurde, in diesem Fall der Wikipedia.[^s2]\n\nDas vortrainierte Modell lässt sich mit einer einzigen zusätzlichen Ausgabeschicht für eine Vielzahl von Aufgaben nachtrainieren, etwa für die Beantwortung von Fragen und das Schlussfolgern aus Sätzen, ohne die Architektur für die jeweilige Aufgabe wesentlich umzubauen.[^s1] Bei der Vorstellung erreichte es in elf Aufgaben der Sprachverarbeitung die bis dahin besten Werte.[^s1]",
  "themeId": "theme-sprachmodelle-skalieren",
  "datePrecision": "year",
  "dateSources": [
    "s1",
    "s3"
  ],
  "verification": "verified",
  "sources": [
    {
      "key": "s1",
      "title": "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding",
      "publisher": "arXiv (Cornell University)",
      "url": "https://arxiv.org/pdf/1810.04805",
      "accessedAt": "2026-09-15",
      "status": "live"
    },
    {
      "key": "s2",
      "title": "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing",
      "publisher": "Google Research",
      "url": "https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/",
      "accessedAt": "2026-09-15",
      "status": "live"
    },
    {
      "key": "s3",
      "title": "What Is Google's BERT and Why Does It Matter?",
      "publisher": "NVIDIA",
      "url": "https://www.nvidia.com/en-us/glossary/bert/",
      "accessedAt": "2026-09-15",
      "status": "live"
    }
  ],
  "provenance": {
    "origin": "legacy-entries-ts",
    "reviewedBy": "recherche-nachtrag",
    "reviewedAt": "2026-09-15",
    "migratedAt": "2026-09-14"
  },
  "seeAlso": [
    {
      "id": "transformer-2017",
      "note": "Die Architektur, von der BERT eine Hälfte nimmt: den Kodierer, der einen Satz in beide Richtungen zugleich liest."
    },
    {
      "id": "gpt-3-few-shot-learning-2020",
      "note": "Zwei Lesarten derselben Architektur: hier für jede Aufgabe nachtrainiert, dort im Text selbst unterwiesen."
    }
  ],
  "wikidata": [
    {
      "id": "Q61726893",
      "name": "BERT"
    }
  ],
  "category": "history",
  "area": {
    "id": "ai",
    "title": "Künstliche Intelligenz"
  },
  "theme": {
    "id": "theme-sprachmodelle-skalieren",
    "title": "Eine Architektur und ihre Skalierung"
  },
  "referencedBy": [],
  "zeitalter": [
    {
      "id": "neueste-geschichte",
      "name": "Neueste Geschichte",
      "art": "kette"
    },
    {
      "id": "neuzeit",
      "name": "Neuzeit",
      "art": "ueberlagerung"
    },
    {
      "id": "zeitgeschichte",
      "name": "Zeitgeschichte",
      "art": "ueberlagerung"
    }
  ],
  "verzeichnis": "https://footnoted.net/de/ai/llms.txt#bert-google-2018",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "creditText": "Footnoted — footnoted.net",
  "usageInfo": "https://footnoted.net/de/lizenz/"
}