Hopfield

Hopfield
Hopfield-Netz mit vier "Neuronen"

Als Hopfield-Netz bezeichnet man eine besondere Form eines künstlichen neuronalen Netzes. Sie ist nach dem amerikanischen Wissenschaftler John Hopfield benannt, der das Modell 1982 bekannt machte.

Inhaltsverzeichnis

Struktur

Hopfield-Netze gehören zur Klasse der Feedback-Netze (Netze mit Rückkopplung). Bei einem Hopfield-Netz existiert nur eine Schicht, die gleichzeitig als Ein- und Ausgabeschicht fungiert. Jedes der binären McCulloch-Pitts Neuronen ist mit jedem, ausgenommen sich selbst, verbunden. Die Neuronen können die Werte -1 und 1 annehmen, welche den Zuständen "feuert nicht" und "feuert" entsprechen.

In Hopfield-Netzwerken sind die synaptischen Gewichte symmetrisch, d.h. es gilt wi,j = wj,i für alle i und j. Dies ist zwar biologisch nicht sinnvoll, erlaubt aber das Aufstellen einer Energiefunktion und die Analyse der Netzwerke mit Methoden der statistischen Mechanik.

Da die Vektoren für die Ein- und Ausgabe gleich lang sind spricht man auch von einem Autoassoziationsnetz.

Arbeitsweise

Bei der Implementierung eines Hopfieldnetzwerkes stellt sich die Frage, ob die Gewichte der Neuronen synchron oder asynchron geändert werden sollen.

  • synchrone Änderung bedeutet, dass in einem Iterationsschritt alle Neuronen gleichzeitig aktualisiert werden.
  • asynchrone Änderung bedeutet, dass ein Neuron zufällig gewählt und berechnet und der Wert bei der nächsten Berechnung sofort mit berücksichtigt wird.

Asynchrones Ändern des Hopfieldnetzes ist am verbreitetsten.

Musterwiederherstellung mit Hopfieldnetzen

Hopfield Netze können als Autoassoziativspeicher benutzt werden, um verrauschte oder auch nur teilweise vorhandene Muster zu rekonstruieren. Dies geschieht in drei Phasen:

Trainingsphase

Hier werden dem Netz eine Zahl L von vorgegeben Mustern eingespeichert. Dies geschieht durch Einstellen der synaptischen Gewichte. Gesucht ist also eine geeignete Gewichtsmatrix der Größe NxN, welche symmetrisch ist. Sie kann zum Beispiel in einem Schritt mit folgender Regel berechnet werden, die auch als verallgemeinerte Hebbsche Lernregel bezeichnet wird:

w_{i,j} = w_{j,i} = \begin{cases} \sum_{\mu=1}^L M_{\mu,i}\cdot M_{\mu,j} & \text{falls } i \neq j \\ 0 & \text{sonst} \end{cases}

wobei

M \in \mathbb{R}^{L\times N}

L \hat = \text{ die Anzahl der zu assoziierenden Muster}

N \hat = \text{ die einzelnen Werte in den Mustern}

Man möchte im Allgemeinen möglichst viele verschiedene Muster in ein Hopfield einspeisen. Jedoch ist die Speicherkapazität, das Verhältnis L/N, begrenzt.

Eingeben eines Testmusters

Nun gibt man ein Testmuster, zum Beispiel ein verrauschtes oder unvollständiges Bild in das Netz hinein. Hierzu setzt man einfach die Neuronen in den Zustand, der dem Testmuster entspricht.

Rechenphase

Die Neuronen werden asynchron mit folgender Regel aktualisiert: s_i = \left\{\begin{matrix} 1 & \mbox {wenn }\sum_{j}{w_{ij}s_j}>\theta_i, \\
-1 & \mbox {sonst}\end{matrix}\right. wobei si der Zustand des zu aktualisierenden Neurons und θi ein Schwellenwert ist.

Das Ergebnis könnte in diesem Fall ein je nach Anzahl der Iterationsschritte mehr oder weniger gut entrauschtes Bild sein. Bis zu einem Verhältnis \frac{L}{N}=0,138 (Verhältnis einzuspeichernder Muster zu Neuronen des Hopfield-Netzes) garantiert die Hebbsche Regel, dass das System sich nicht mehr ändert, wenn es in einem Zustand angelangt ist, der einem der gespeicherten Muster entspricht. Es lässt sich außerdem zeigen, dass das System immer in einem stabilen Endzustand ankommt.

Folgende drei Endzustände sind denkbar:

  • Das Muster wurde korrekt erkannt.
  • Das invertierte Muster wurde erkannt.
  • Es kann kein Muster erkannt werden, das Netzwerk gelangt in einen stabilen unechten Zustand, der keinem der Muster entspricht.

Beziehung zur statistischen Mechanik

Für das Hopfield-Modell existiert eine Energiefunktion der Form E = -\frac{1}{2}\sum_{i\neq j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i\ s_i}, deren Wert, wie sich beweisen lässt, bei jeder Aktualisierung gemäß obiger Regel abnimmt. Nur bei den stabilen Mustern (und den unechten Zuständen) bleibt auch die Energie gleich, diese stellen also lokale Minima der Energielandschaft dar.

Es gibt einen Zusammenhang zwischen dem Hopfieldmodell und dem Ising-Modell, für dessen Energie gilt: E = -\frac{1}{2}\sum_{<ij>}{J_{ij}{s_i}{s_j}}+\sum_i{h_i\ s_i}. Insbesondere zu Spingläsern, bei denen die Jij zufällig verteilt sind, besteht große Ähnlichkeit. So konnte mit Methoden der theoretischen Physik gezeigt werden, dass Hopfieldnetze nur bis zu einem Verhältnis \frac{L}{N}=0,138 als assoziatives Gedächtnis verwendbar sind.

Weblinks


Wikimedia Foundation.

Игры ⚽ Поможем решить контрольную работу

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Hopfield — may refer to: * Hopfield net, a type of neural network * John Joseph Hopfield (b. 1933), American biologist and physicist, inventor of the Hopfield net * John J. Hopfield (spectroscopist) , American spectroscopist, discoverer of the Hopfield… …   Wikipedia

  • Hopfield — John Joseph Hopfield John Joseph Hopfield est un physicien américain né en 1933, principalement connu pour son modèle de réseaux de neurones publié en 1982 : le modèle de Hopfield. Il est actuellement professeur au département de biologie… …   Wikipédia en Français

  • Hopfield-Modell — Hopfield Netz mit vier Neuronen Als Hopfield Netz bezeichnet man eine besondere Form eines künstlichen neuronalen Netzes. Sie ist nach dem amerikanischen Wissenschaftler John Hopfield benannt, der das Modell 1982 bekannt machte.… …   Deutsch Wikipedia

  • Hopfield-Netz — mit vier Neuronen Als Hopfield Netz bezeichnet man eine besondere Form eines künstlichen neuronalen Netzes. Sie ist nach dem amerikanischen Wissenschaftler John Hopfield benannt, der das Modell 1982 bekannt machte. Inhaltsverzeichnis …   Deutsch Wikipedia

  • Hopfield (RNA) — Una red de Hopfield es una forma de red neuronal artificial recurrente inventada por John Hopfield. Las redes de Hopfield se usan como sistemas de Memoria asociativa con unidades binarias. Están diseñadas para converger a un mínimo local, pero la …   Wikipedia Español

  • Hopfield net — A Hopfield net is a form of recurrent artificial neural network invented by John Hopfield. Hopfield nets serve as content addressable memory systems with binary threshold units. They are guaranteed to converge to a local minimum, but convergence… …   Wikipedia

  • John Joseph Hopfield — (b. July 15, 1933) is an American scientist most widely known for his invention of an associative neural network in 1982. It is now more commonly known as the Hopfield Network.John Hopfield received his BA from Swarthmore College, and a Ph.D in… …   Wikipedia

  • Reseau de neurones de Hopfield — Réseau de neurones de Hopfield Le réseau de neurones d Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul… …   Wikipédia en Français

  • Réseau de neurones de hopfield — Le réseau de neurones d Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque… …   Wikipédia en Français

  • Réseau de neurones de Hopfield — Le réseau de neurones d Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque… …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”