---
id: transformer-2017
title: Die Transformer-Architektur wird vorgestellt
date: '2017-06-12'
datePrecision: day
dateSources:
  - s1
  - s3
summary: >-
  Am 12. Juni 2017 erscheint der Aufsatz „Attention Is All You Need“. Die
  darin beschriebene Transformer-Architektur stützt sich allein auf Attention
  und kommt ohne rekurrente und faltende Netze aus; auf ihr bauen GPT, BERT
  und die meisten bekannten großen Sprachmodelle auf.
themeId: theme-sprachmodelle-skalieren
wikidata:
  - id: Q85810444
    name: 'Transformer'
  - id: Q30249683
    name: 'Attention Is All You Need'
verification: verified
sources:
  - key: s1
    title: Attention Is All You Need
    publisher: arXiv (Cornell University)
    url: https://arxiv.org/abs/1706.03762
    accessedAt: '2026-09-15'
  - key: s2
    title: What is a Transformer Model?
    publisher: IBM
    url: https://www.ibm.com/think/topics/transformer-model
    accessedAt: '2026-09-15'
  - key: s3
    title: Transformer (deep learning architecture)
    publisher: Wikipedia
    url: https://en.wikipedia.org/wiki/Transformer_(deep_learning_architecture)
    accessedAt: '2026-09-15'
provenance:
  origin: legacy-entries-ts
  reviewedBy: recherche-nachtrag
  reviewedAt: '2026-09-15'
  migratedAt: '2026-09-14'
seeAlso:
  - id: chatgpt-2022
    note: >-
      Die Architektur aus diesem Eintrag trägt fünf Jahre später die Anwendung,
      die das Thema aus dem Fach holt.
---
Am 12. Juni 2017 reichten Ashish Vaswani und sieben Mitautoren den Aufsatz
„Attention Is All You Need“ bei arXiv ein.[^s1] Modelle für die Übersetzung von
Sequenzen beruhten bis dahin auf rekurrenten oder faltenden neuronalen Netzen;
der Transformer stützt sich dagegen ausschließlich auf Attention-Mechanismen und
lässt sich effizient parallelisieren.[^s1] Auf ihr bauen die GPT-Modelle, BERT
und die meisten der bekannten großen Sprachmodelle auf.[^s2][^s3]

Ende der Datei: 3 Quellen.