Rumelhart, Hinton und Williams machen Backpropagation bekannt
1986 beschrieben Rumelhart, Hinton und Williams in Nature, wie sich mehrschichtige neuronale Netze trainieren lassen. Das Verfahren war nicht neu, aber erst dieser Aufsatz machte es in der KI-Forschung breit bekannt.
Backpropagation berechnet die Gradienten rückwärts durch ein neuronales Netz und erlaubt so, die Gewichte in allen Schichten anzupassen, auch in Netzen mit mehreren verdeckten Schichten.1 Mathematisch war das Verfahren schon länger bekannt; der breiten KI-Forschung zugänglich machte es 1986 der Aufsatz von Rumelhart, Hinton und Williams in Nature.1,3 Die Aufsätze von 1985 und 1986 machten das Verfahren bekannt und fielen mit dem wieder erwachten Interesse an neuronalen Netzen in den 1980er-Jahren zusammen.1 Die erste praktische Anwendung folgte 1989 durch Yann LeCun bei den Bell Labs.2
Siehe auch
- AlexNet gewinnt den ImageNet-Wettbewerb 2012 Das Verfahren stand fertig da und blieb wirkungslos, bis Daten und Rechenleistung es einholten.
Hierher verwiesen
- AlexNet gewinnt den ImageNet-Wettbewerb 2012 Der Algorithmus, der hier zum Zug kam, war zu diesem Zeitpunkt sechsundzwanzig Jahre alt.
- Rosenblatt stellt das Perceptron vor 1958 Achtundzwanzig Jahre später löste ein Lernverfahren für mehrschichtige Netze genau diese Grenze.