Neuronales Gas

Neuronales Gas

Neural Gas - ein Künstliches neuronales Netz, angelehnt an die Self-Organizing Maps und vorgestellt 1991 von Thomas Martinetz und Klaus Schulten. Das Neural Gas ist ein einfacher Algorithmus zur möglichst fehlerfreien Datenkodierung mit Hilfe von Merkmalsvektoren. Die Bezeichnung begründet sich auf der Dynamik der Merkmalsvektoren, die sich während des Lernprozesses wie ein "Gas" im Datenraum verteilen. Anwendung findet es überall dort, wo Datenkompression oder Vektorquantisierung durchgeführt werden muss, also zum Beispiel in der Spracherkennung, Bildverarbeitung oder Mustererkennung. Als robust konvergierende Alternative zum K-Means-Algorithmus wird es des Weiteren zur Clusteranalyse eingesetzt. Prominente Erweiterungen des Neural Gas sind das Growing Neural Gas und das Topology Representing Network.

Arbeitsweise

Gegeben eine Häufigkeitsverteilung P(x) von Datenvektoren x sowie eine endliche Zahl von Merkmalsvektoren wi, i=1,...,N. Mit jedem Zeitschritt t wird ein zufällig aus P gewählter Datenvektor präsentiert. Danach wird zunächst die Entfernungsrangfolge der Merkmalsvektoren zum gegebenen Datenvektor x bestimmt. i0 bezeichnet den Index des nächstliegenden Merkmalsvektors, i1 den Index des zweitnächsten usw. und iN-1 den Index des zu x entferntesten Merkmalsvektors. Dann wird jeder Merkmalsvektor adaptiert. Der Adaptionsschritt lautet für k=0,...,N-1

 w_{i_k}^{t+1} = w_{i_k}^{t} + \epsilon\cdot  e^{-k/\lambda}\cdot (x-w_{i_k}^{t})

mit ε als Adaptionsschrittweite und λ als sogenannte Nachbarschaftsreichweite. ε und λ nehmen mit der Zahl t der Adaptionsschritte ab. Nach ausreichend vielen Adaptionsschritten decken die Merkmalsvektoren den Datenraum gleichmäßig ab.

Kommentare

  1. Der Adaptionsschritt des Neural Gas kann als Gradientenabstieg auf einer Kostenfunktion interpretiert werden.
  2. Durch Adaption nicht nur des nächstliegenden Merkmalsvektors sondern in abnehmendem Maße auch der im Entfernungsrang folgenden Merkmalsvektoren wird im Vergleich zum K-Means-Algorithmus eine robuste und von der Initialisierung weitgehend unabhängige Konvergenz erzielt.
  3. Als Lernrate hat sich bewährt:
     \epsilon^t = \epsilon_\text{start} \cdot \left( \frac{\epsilon_\text{end}} {\epsilon_\text{start}} \right) ^ {\frac{t}{t_{\text{max}}}}
    mit εstart=1 als Startlernrate und εend=0,001 als Lernrate zum Ende des Verfahrens, d.h. nach tmax Stimuluspräsentationen.
  4. Als Nachbarschaftreichweite hat sich bewährt:
     \lambda^t = \lambda_\text{start} \cdot \left( \frac{\lambda_\text{end}} {\lambda_\text{start}} \right) ^ {\frac{t}{t_{\text{max}}}}
    mit λstart=N/2 als Reichweite zu Beginn und λend=0,01 als Reichweite zum Ende des Verfahrens.

Referenzen & Weblinks

  • T. M. Martinetz and K. J. Schulten. A neural-gas network learns topologies. In T. Kohonen, K. Mäkisara, O. Simula, and J. Kangas, editors, Artificial Neural Networks, pages 397-402. North-Holland, Amsterdam, 1991.
  • T. Martinetz, S. Berkovich, and K. Schulten. "Neural-gas" Network for Vector Quantization and its Application to Time-Series Prediction. IEEE-Transactions on Neural Networks, 4(4):558-569, 1993.
  • T. Martinetz and K. Schulten. Topology representing networks. Neural Networks, 7(3):507-522, 1994.
  • Growing Neural Gas videos.
  • Java applet. Neural Gas, Growing Neural Gas und andere Verfahren des kompetitiven Lernens.
  • Fritzkes Seite zu Growing Neural Gas.
  • Java Competitive Learning Applications Unsupervised Neural Networks (including Self-organizing map) in Java mit Quelltexten.
  • Neural Gas Algorithm

Wikimedia Foundation.

Игры ⚽ Нужен реферат?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Growing Neural Gas — Das Growing Neural Gas (GNG) ist ein künstliches neuronales Netz, bei dem während des Adaptionsprozesses Neuronen eingefügt und gelöscht werden können. Bei anderen künstlichen neuronalen Netzen wie Self Organizing Maps (SOM) oder Neural Gas (NG)… …   Deutsch Wikipedia

  • Neuronen-Gas — Neural Gas ein Künstliches neuronales Netz, angelehnt an die Self Organizing Maps und vorgestellt 1991 von Thomas Martinetz und Klaus Schulten. Das Neural Gas ist ein einfacher Algorithmus zur möglichst fehlerfreien Datenkodierung mit Hilfe von… …   Deutsch Wikipedia

  • Künstliches neuronales Netz — Künstliche neuronale Netze (selten auch künstliche neuronale Netzwerke, kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand… …   Deutsch Wikipedia

  • Neural Gas — ein Künstliches neuronales Netz, angelehnt an die Self Organizing Maps und vorgestellt 1991 von Thomas Martinetz und Klaus Schulten. Das Neural Gas ist ein einfacher Algorithmus zur möglichst fehlerfreien Datenkodierung mit Hilfe von… …   Deutsch Wikipedia

  • GNG-SOM — Das Growing Neural Gas (GNG) ist ein künstliches neuronales Netz, bei dem während des Adaptionsprozesses Neuronen eingefügt und gelöscht werden können. Bei anderen künstlichen neuronalen Netzen wie Self Organizing Maps (SOM) oder Neural Gas (NG)… …   Deutsch Wikipedia

  • Künstliche neuronale Netze — (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der künstlichen neuronalen Netze liegt …   Deutsch Wikipedia

  • Künstliche neuronale Netzwerke — Künstliche neuronale Netze (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der… …   Deutsch Wikipedia

  • Conexionismo — El conexionismo es un conjunto de enfoques en los ámbitos de la inteligencia artificial, psicología cognitiva, ciencia cognitiva, neurociencia y filosofía de la mente, que presenta los fenómenos de la mente y del comportamiento como procesos que… …   Wikipedia Español

  • Red neuronal artificial — perceptrón simple con n neuronas de entrada, m neuronas en su capa oculta y una neurona de escape. Las redes de neuronas artificiales (denominadas habitualmente como RNA o en inglés como: ANN [1] ) so …   Wikipedia Español

  • Minería de datos — La minería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos. Dicha información era previamente desconocida y podrá resultar útil para algún proceso. En otras palabras, la… …   Wikipedia Español

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”