Elman-Netz

Elman-Netz

Ein Elman-Netz, auch Simple recurrent network (SRN), zu deutsch Einfaches rekurrentes Netz, ist ein einfaches künstliches neuronales Netz, das durch vorhandene Rückkopplungen von Kanten zwischen den künstlichen Neuronen in der Lage ist zeitliche Abhängigkeiten von Eingaben implizit zu verarbeiten. Benannt ist diese Netz-Architektur nach Jeffrey L. Elman, der diese Struktur 1990 vorschlug.

Ein künstliches neuronales Netz ist ein Modell aus der Neuroinformatik, das durch biologische neuronale Netze motiviert ist. Künstliche neuronale Netze können Aufgaben erlernen und werden häufig dort eingesetzt, wo eine explizite Modellierung eines Problems schwierig oder unmöglich ist. Beispiele sind die Gesichts- und Spracherkennung.

Inhaltsverzeichnis

Einschränkungen einfacher Modelle

Viele Modelle künstlicher neuronaler Netze besitzen entweder keine Möglichkeit zeitliche Abhängigkeiten von Eingabedaten zu verarbeiten oder benötigen dazu eine Historie von Eingaben durch ein Eingabefenster. Ein Time Delay Neural Network ist so ein Netz, das durch die Verwendung gefensteter Eingaben die zeitliche Komponente eines Datenstroms explizit darstellt.

Die parallele Präsentation von Eingaben verschiedener Zeitpunkte bringt verschiedene Einschränkungen mit sich. So ist ein Fenster mit konstanter Länge ungeeignet für Signale, die eine variable zeitliche Länge aufweisen. Dies ist unter anderem bei der Spracherkennung hinderlich, da Wörter aus einer unterschiedlichen Länge von Silben bestehen. Aus der Sichtweise der biologischen Abstraktion fehlt eine biologische Motivation für das parallele Anlegen von Eingabedaten verschiedener Zeitschritte.

Struktur

Künstliches neuronales Netz mit einer Schicht mit direkten Rückkopplungen

Um diese Probleme zu umgehen schlägt Elman eine einfache Struktur vor, die mittels Rückkopplungen ein zeitliches Gedächtnis besitzt. Dabei hat das Netz zwei Schichten von Neuronen, eine verdeckte Schicht und eine Ausgabeschicht. Die Ausgaben der verdeckten Schicht werden in den sogenannten "Kontextzellen" gespeichert. Zu jedem Neuron der verdeckten Schicht existiert dazu eine Zelle, welche die vergangene Ausgabe des Neurons speichert. Die Kante enthält dazu die konstante Gewichtung von 1.

Die Neuronen der verdeckten Schicht enthalten als Eingabe die Eingabedaten sowie ihre vergangenen Ausgaben über die Kontextzellen. In seiner Arbeit zeigt Elman, dass diese Netzwerkstruktur dadurch implizit in der Lage ist auch längere Eingabeströme zeitlich invariant zu verarbeiten. Die Ausgabeschicht nimmt dabei lediglich die Abbildung der internen Repräsentierung der verdeckten Neuronen vor.

Schema eines Elman-Netzes

Elman-Netze werden z.B. mittels Backpropagation trainiert. Die rückwärts gerichteten Kanten (Rückkopplungen) werden dabei nicht angepasst.

Beispielhafte Anwendung

Das folgende einfache Beispiel ist aus der Arbeit von Elman entnommen. Die Eingabe besteht aus Blöcken von jeweils drei binären Werten.
Dem Netz wird zunächst in den beiden ersten Zeitschritten jeweils ein zufällig gewählter, binärer Wert als Eingabe präsentiert. Die dritte Eingabe ist dann das Ergebnis der XOR-Verknüpfung angewendet auf die beiden vorherigen Eingaben.

Die Aufgabe des Netzes ist es nun, die jeweils nächste zu erwartende Eingabe vorauszusagen. Dies kann es für die zweite zufällige Eingabe erreichen, indem es zusammen mit der Eingabe des ersten Zeitschrittes die Eingabe des dritten Zeitschrittes berechnet. Um dieses Verhalten zu erreichen, wird die Eingabe um einen Zeitschritt nach vorn versetzt und als Zielwert (siehe Backpropagation) eingelernt.

Eingabe: 1 0 1 0 0 0 0 1 1 1 0 1 1 1 0 ...
Zielwert: 0 1 0 0 0 0 1 1 1 0 1 1 1 0 ? ...

Es zeigt sich, dass der Erkennungsfehler bei dem jeweiligen zweiten Wert abnimmt. Das Netz erlernt also die XOR-Verknüpfung und kann dort, wo es möglich ist, den Wert berechnen. Mit Hilfe der vorausgegangenen Eingaben kann das Netz also die nächste Eingabe vorausbestimmen.

Hierarchisches Elman-Netz

Als Verallgemeinerung zweischichtiger Elman-Netze existieren hierarchische Elman-Netze. Sie können mehr als zwei Schichten besitzen und enthalten zusätzliche Rückkopplungen in den einzelnen Kontextzellen.

Literatur


Wikimedia Foundation.

Игры ⚽ Поможем написать реферат

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Jordan-Netz — Ein Jordan Netz ist ein partiell rückgekoppeltes künstliches neuronales Netz, welches die Ausgabe des Netzes im darauf folgenden Zeitschritt wieder als Teil der Eingabe betrachtet. Wie beim Elman Netz ist das Jordan Netz somit in der Lage,… …   Deutsch Wikipedia

  • Rekurrentes Neuronales Netz — Als rekurrente bzw. rückgekkoppelte Neuronale Netze bezeichnet man künstliche neuronale Netze, die sich, im Gegensatz zu den sogenannten Feedforward Netzen wie z. B. Kompetitive Netzen oder Kohonennetzen, durch Rückkopplungen von Neuronen einer… …   Deutsch Wikipedia

  • Rekurrentes neuronales Netz — Als rekurrente bzw. rückgekoppelte neuronale Netze bezeichnet man neuronale Netze, die sich, im Gegensatz zu den sogenannten Feedforward Netzen durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht …   Deutsch Wikipedia

  • Künstliches neuronales Netz — Künstliche neuronale Netze (selten auch künstliche neuronale Netzwerke, kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand… …   Deutsch Wikipedia

  • SRN — Ein Elman Netz, auch Simple recurrent network (SRN), zu deutsch Einfaches rekurrentes Netz, ist ein einfaches künstliches neuronales Netz, das durch vorhandene Rückkopplungen von Kanten zwischen den künstlichen Neuronen in der Lage ist zeitliche… …   Deutsch Wikipedia

  • Simple recurrent network — Ein Elman Netz, auch Simple recurrent network (SRN), zu deutsch Einfaches rekurrentes Netz, ist ein einfaches künstliches neuronales Netz, das durch vorhandene Rückkopplungen von Kanten zwischen den künstlichen Neuronen in der Lage ist zeitliche… …   Deutsch Wikipedia

  • Künstliche neuronale Netze — (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der künstlichen neuronalen Netze liegt …   Deutsch Wikipedia

  • Künstliche neuronale Netzwerke — Künstliche neuronale Netze (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der… …   Deutsch Wikipedia

  • Alamannia — Einfaches alemannisches Steinkistengrab des 7. Jahrhunderts in Biengen (Bad Krozingen) …   Deutsch Wikipedia

  • Alamannien — Einfaches alemannisches Steinkistengrab des 7. Jahrhunderts in Biengen (Bad Krozingen) …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”