- Adaptive Resonance Theory
-
Adaptive Resonance Theory (ART) bedeutet übersetzt anpassungsfähige Resonanz-Theorie. ART ist ein Architekturkonzept für neuronale Netze und wurde von Stephen Grossberg und Gail A. Carpenter entwickelt.
Inhaltsverzeichnis
Grundlegende Struktur
Grundlegende ART StrukturDas einfache ART-System gehört zur Klasse der nicht überwacht lernenden Algorithmen.
Typischerweise besteht es aus einem Vergleichs-Feld F1 und einem Erkennungs-Feld F2, einem Wachsamkeits-Parameter P und einem Reset-Modul R. Neuronen in F1 repräsentieren Attribute, Neuronen in F2 Kategorien. Daher bestehen beide Felder meist aus einer unterschiedlichen Anzahl von Neuronen. F1 und F2 sind bidirektional voll vernetzt. Jede Verbindung wird mit einem spezifischen Gewicht bewertet. Diese Gewichte sind der Langzeit-Speicher von ART. Alle Gewichte von F1 nach F2 sind in einer Gewichtsmatrix W zusammengefasst, die anderen gehören zur Gewichtsmatrix Z. Der Wachsamkeits-Parameter hat beträchtlichen Einfluss auf das System: ein hoher Wert verursacht feingranulare Erinnerungen (viele, kleine Kategorien), ein niedriger Wert sorgt für mehr Abstraktion (weniger, grobere Kategorien).
Klassifizierung
Beim Klassifizieren wird an die F1-Neuronen ein eindimensionaler Attribute-Vektor I angelegt. Dieser wird mit den Gewichten in W bewertet und an die F2-Neuronen weitergeleitet. Das F2-Neuron, welches das maximale Signal erhält, bestimmt die Kategorie, zu der I gehört. Die Ausgabe aller anderen F2-Neuronen wird auf Null gesetzt.
Das Ergebnis wird mit Z bewertet und an die F1-Schicht zurückgeleitet. Liegt der Unterschied zwischen I und dem zurückkommendem Signal innerhalb der von P festgelegten Grenze, befindet sich das System in Resonanz und die Gewichte können trainiert werden. Ansonsten wird per Reset-Signal das aktive F2-Neuron deaktiviert, bis ein neuer Eingabe-Vektor anliegt. Es folgt ein neuer Durchlauf, der zu einem anderen F2-Neuron (einer anderen Kategorie) führt. Somit werden während der Suche nach und nach solange Kategorien probiert, bis entweder eine Kategorie gefunden wurde, die ähnlich genug ist oder alle Kategorien verglichen wurden.
Sollte I in keine der gespeicherten Kategorien passen, so wird ein bisher ungenutztes F2-Neuron verwendet und die Gewichte zu diesem mit den Werten von I initialisiert. Ist kein freies F2-Neuron verfügbar (Speicherkapazität erschöpft), so kann das neue Muster nicht erlernt werden.
Im Zustand der Resonanz werden die Gewichte der ausgewählten Kategorie den Attributen von I angepasst. Daher hat das System seinen Namen: Es lernt im Zustand der Resonanz, indem es gespeicherte Kategorien an neue Fälle anpasst, sofern der neue Fall nicht zu sehr von der gespeicherten Kategorie abweicht.
Training
Es gibt zwei verschiedene Arten, ART-Netze zu trainieren: langsam und schnell.
Langsames Lernen passiert dann, wenn eine zufriedenstellende Kategorie gefunden wurde (In Anlehnung an schwingende Systeme, wird dieser Zustand Resonanz genannt). Die Gewichte dieser Kategorie werden mit Differentialgleichungen an die Attribute von I angepasst. Der Grad der Anpassung ist abhängig davon, wie lange I präsentiert wird.
Beim schnellen Lernen wird die Anpassung der Gewichte mithilfe algebraischer Gleichungen bestimmt.
Während schnelles Lernen effektiv und effizient für viele Anwendungen ist, ist langsames Lernen biologisch plausibler.
ART Typen
ART 1
ART 1 [1] [2] [3] ist die einfachste und ursprüngliche Variante. ART-1 kann nur binäre Attribute verarbeiten.
ART 2
ART 2[4] erweitert ART-1 und ermöglicht die Verarbeitung von kontinuierlichen Attributen.
ART 2-A
ART 2-A[5] ist eine rationalisierte Form von ART-2 mit drastisch verbesserter Laufzeit und nur selten schlechteren Resultaten.
ART 3
ART 3[6] basiert auf ART-2 und ahmt chemische Vorgänge biologischer neuronaler Netze nach.
Fuzzy ART
Fuzzy ART[7] erweitert ART 1 um die Nutzung von Fuzzy-Logik. Dies Ermöglicht graduelle Zuordnung zu verschiedenen Kategorien gleichzeitig. Durch komplementäres Kodieren der Attribute kann die Abwesenheit von Attributen verarbeitet werden, was unnötiges Wuchern von Kategorien reduziert.
distributed ART
distributed ART[8]
ARTMAP
ARTMAP ÜbersichtARTMAP[9], Wird auch Predictive ART (vorhersagendes ART) genannt. Dabei werden zwei ART-Module mit einem Verbindungsnetz V zu einem überwacht lernenden System kombiniert. Das Erste Modul verarbeitet den Attributvektor I und das zweite den Ergebnisvektor C. Das Steuerungssystem S steuert den Wachsamkeits-Parameter des Attribute-Systems in Abhängigkeit von den Ergebniskategorien. Somit können unterschiedlich grobe Kategorien der Attribute erzeugt werden.
Wird nur ein einfaches (überwacht lernendes) Klassifikations-System benötigt, so kann das zweite Modul vereinfacht werden.
Fuzzy ARTMAP
Fuzzy ARTMAP[10] ist einfach ein ARTMAP aus zwei Fuzzy ART Modulen.
Distributed ARTMAP
Distributed ARTMAP [11]
ARTMAP-IC
ARTMAP-IC [12]
Default ARTMAP
Default ARTMAP [13] ist eine Kombination aus Fuzzy ARTMAP und teilweise Distributed ARTMAP.
ARTMAP Übersicht
Trainieren Klassifizieren Instanzenzählung Fuzzy WTA WTA Nein Default WTA verteilt Nein IC WTA verteilt Ja Distributed verteilt verteilt Ja WTA = „the winner takes it all“ Nur das F2-Neuron mit der größten Ausgabe ist aktiv, die Ausgabe aller anderen ist Null.
Verteilt = Alle F2-Neuronen sind aktiv.
Instanzenzählung = Die Ausgaben der F2-Neuronen werden durch die F3-Neuronen gewichtet. Kategorien, die in den Trainingsfällen häufiger vorkamen, bekommen eine größere Bewertung.
Literatur
- Wasserman, Philip D. (1989), Neural computing: theory and practice, New York: Van Nostrand Reinhold, ISBN 0-442-20743-3.
Einzelnachweise
- ↑ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory, In M.A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
- ↑ Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance, Cognitive Science (Zeitschrift), 11, 23-63
- ↑ Carpenter, G.A. & Grossberg, S. (1987), A massively parallel architecture for a self-organizing neural pattern recognition machine (pp. 54-115). Computer Vision, Graphics And Image Processing (Zeitschrift)
- ↑ Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns, Applied Optics, 26(23), 4919-4930
- ↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991a), ART 2-A: An adaptive resonance algorithm for rapid category learning and recognition, Neural Networks (Zeitschrift), 4, 493-504
- ↑ Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures, Neural Networks (Zeitschrift), 3, 129-152
- ↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system, Neural Networks (Zeitschrift), 4, 759-771
- ↑ Carpenter, G.A. (1997), Distributed Learning, Recognition and Prediction by ART and ARTMAP Neural Networks, Neural Networks (Zeitschrift), vol. 10, no. 8, 1473-1494
- ↑ Carpenter, G.A., Grossberg, S., & Reynolds, J.H. (1991), ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network, Neural Networks (Zeitschrift), 4, 565-588
- ↑ Carpenter, G.A., Grossberg, S., Markuzon, N., Reynolds, J.H., & Rosen, D.B. (1992), Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps, IEEE Transactions on Neural Networks, 3, 698-713
- ↑ Gail A. Carpenter, Boriana L. Milenova, Benjamin W. Noeske (1998), Distributed ARTMAP: a neural network for fast distributed supervised learning, Neural Networks (Zeitschrift), 11, 793-813
- ↑ Gail A. Carpenter, Natalya Markuzon (1998), ARTMAP-IC and medical diagnosis: Instance counting and inconsistent cases, Neural Networks (Zeitschrift), 11, 323-336
- ↑ Gail A. Carpenter (2003), Default ARTMAP, CAS-CNS Technical Report TR-2003-008
- ↑ http://profusion.bu.edu/techlab/modules/mydownloads/Classer/Artmap/ApiDocs/main.html]
Weblinks
- cns-web.bu.edu/... - Offizielle Webseite von Stephen Grossberg
- profusion.bu.edu/... - Beispielcode in den Programmiersprachen C und Java
- cs.uni-muenster.de/... - Erklärung von ART und ARTMAP samt Beispielen
- informatik.uni-ulm.de/... - Eine deutschsprachige Einführung zu ART
Wikimedia Foundation.
