{
  "id": "transformer-2017",
  "title": "Die Transformer-Architektur wird vorgestellt",
  "date": "2017-06-12",
  "summary": "Am 12. Juni 2017 erscheint der Aufsatz „Attention Is All You Need“. Die darin beschriebene Transformer-Architektur stützt sich allein auf Attention und kommt ohne rekurrente und faltende Netze aus; auf ihr bauen GPT, BERT und die meisten bekannten großen Sprachmodelle auf.",
  "body": "Am 12. Juni 2017 reichten Ashish Vaswani und sieben Mitautoren den Aufsatz „Attention Is All You Need“ bei arXiv ein.[^s1] Modelle für die Übersetzung von Sequenzen beruhten bis dahin auf rekurrenten oder faltenden neuronalen Netzen; der Transformer stützt sich dagegen ausschließlich auf Attention-Mechanismen und lässt sich effizient parallelisieren.[^s1] Auf ihr bauen die GPT-Modelle, BERT und die meisten der bekannten großen Sprachmodelle auf.[^s2][^s3]",
  "themeId": "theme-sprachmodelle-skalieren",
  "datePrecision": "day",
  "dateSources": [
    "s1",
    "s3"
  ],
  "verification": "verified",
  "sources": [
    {
      "key": "s1",
      "title": "Attention Is All You Need",
      "publisher": "arXiv (Cornell University)",
      "url": "https://arxiv.org/abs/1706.03762",
      "accessedAt": "2026-09-15",
      "status": "live"
    },
    {
      "key": "s2",
      "title": "What is a Transformer Model?",
      "publisher": "IBM",
      "url": "https://www.ibm.com/think/topics/transformer-model",
      "accessedAt": "2026-09-15",
      "status": "live"
    },
    {
      "key": "s3",
      "title": "Transformer (deep learning architecture)",
      "publisher": "Wikipedia",
      "url": "https://en.wikipedia.org/wiki/Transformer_(deep_learning_architecture)",
      "accessedAt": "2026-09-15",
      "status": "live"
    }
  ],
  "provenance": {
    "origin": "legacy-entries-ts",
    "reviewedBy": "recherche-nachtrag",
    "reviewedAt": "2026-09-15",
    "migratedAt": "2026-09-14"
  },
  "seeAlso": [
    {
      "id": "chatgpt-2022",
      "note": "Die Architektur aus diesem Eintrag trägt fünf Jahre später die Anwendung, die das Thema aus dem Fach holt."
    }
  ],
  "wikidata": [
    {
      "id": "Q85810444",
      "name": "Transformer"
    },
    {
      "id": "Q30249683",
      "name": "Attention Is All You Need"
    }
  ],
  "category": "history",
  "area": {
    "id": "ai",
    "title": "Künstliche Intelligenz"
  },
  "theme": {
    "id": "theme-sprachmodelle-skalieren",
    "title": "Eine Architektur und ihre Skalierung"
  },
  "referencedBy": [
    {
      "area": "ai",
      "id": "chatgpt-2022",
      "title": "ChatGPT wird veröffentlicht",
      "note": "Die Architektur, ohne die es das Modell dahinter nicht gäbe."
    },
    {
      "area": "ai",
      "id": "gpt-3-few-shot-learning-2020",
      "title": "GPT-3 löst Aufgaben, ohne dafür trainiert zu werden",
      "note": "Dieselbe Architektur, nur in eine Richtung gelesen und um drei Größenordnungen weiter gebaut."
    },
    {
      "area": "ai",
      "id": "bert-google-2018",
      "title": "Google stellt BERT vor, ein Sprachmodell, das in beide Richtungen liest",
      "note": "Die Architektur, von der BERT eine Hälfte nimmt: den Kodierer, der einen Satz in beide Richtungen zugleich liest."
    }
  ],
  "zeitalter": [
    {
      "id": "neueste-geschichte",
      "name": "Neueste Geschichte",
      "art": "kette"
    },
    {
      "id": "neuzeit",
      "name": "Neuzeit",
      "art": "ueberlagerung"
    },
    {
      "id": "zeitgeschichte",
      "name": "Zeitgeschichte",
      "art": "ueberlagerung"
    }
  ],
  "verzeichnis": "https://footnoted.net/de/ai/llms.txt#transformer-2017",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "creditText": "Footnoted — footnoted.net",
  "usageInfo": "https://footnoted.net/de/lizenz/"
}