Widrow-Hoff-Regel

Widrow-Hoff-Regel

Der LMS-Algorithmus (Least-Mean-Squares-Algorithmus) ist ein Algorithmus zur Approximation der Lösung des Least-Mean-Squares Problems, das z. B. in der digitalen Signalverarbeitung vorkommt. In der Neuroinformatik ist der Algorithmus vor allem als Delta-Regel oder Widrow-Hoff-Regel bekannt.

Der Algorithmus beruht auf der sogenannten Methode des steilsten Abstiegs (Gradientenverfahren) und schätzt den Gradienten auf einfache Art. Der Algorithmus arbeitet zeitrekursiv, d. h. mit jedem neuen Datensatz wird der Algorithmus einmal durchlaufen und die Lösung aktualisiert. Die Regel wurde erstmals 1960 von Bernard Widrow und Marcian Edward Hoff für das Einlernen des Adaline-Modells verwendet.

Der LMS-Algorithmus wird auf Grund seiner geringen Komplexität häufig eingesetzt. Einsatzgebiete sind u. a. adaptive Filter, adaptive Regelungen und Online-Identifikationsverfahren.

Ein bedeutender Nachteil des LMS-Algorithmus ist die Abhängigkeit seiner Konvergenzgeschwindigkeit von den Eingangsdaten, d. h. der Algorithmus findet unter ungünstigen Umständen möglicherweise keine Lösung. Ungünstige Umstände sind die schnelle zeitliche Änderung der Eingangsdaten.

Algorithmus

Ziel sei es die Koeffizienten eines FIR-Filters so zu bestimmen, dass der Fehler zwischen Ausgangsdaten der Filters \vec x(n)^T \vec w(n) und vorgegebenen Referenzdaten y(n) minimiert wird.

Der LMS-Algorithmus hat dann folgende Form:

e(n) = y(n) - \vec x(n)^T \vec w(n)

\vec w(n+1) = \vec w(n) + \mu e(n) \vec x(n)

Dabei ist \vec x(n) ein Vektor mit Eingangsdaten der Zeitpunkte n-(M+1) bis n, y(n) ein Referenzdatum zum Zeitpunkt n, \vec w(n) der aktuelle Vektor der Filtergewichte des Transversalfilters der Ordnung M, μ ein Faktor zur Einstellung der Geschwindigkeit und Stabilität der Adaption und \vec w(n+1) der neu zu bestimmende Filtervektor der Ordnung M. Es wird also zu jedem Zeitpunkt der aktuelle Fehler bestimmt und daraus die neuen Filtergewichte \vec w(n+1) berechnet.

Verwendung in der Neuroinformatik

Der LMS-Algorithmus gehört zur Gruppe der überwachten Lernverfahren. Dazu muss ein externer Lehrer existieren, der zu jedem Zeitpunkt der Eingabe die gewünschte Ausgabe, den Zielwert, kennt.

Er kann auf jedes einschichtige künstliche neuronale Netz angewendet werden, dabei muss die Aktivierungsfunktion differenzierbar sein. Das Backpropagation-Verfahren verallgemeinert diesen Algorithmus und kann auch auf mehrschichtige Netze angewandt werden.


Wikimedia Foundation.

Игры ⚽ Нужен реферат?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Delta-Regel — Der LMS Algorithmus (Least Mean Squares Algorithmus) ist ein Algorithmus zur Approximation der Lösung des Least Mean Squares Problems, das z. B. in der digitalen Signalverarbeitung vorkommt. In der Neuroinformatik ist der Algorithmus vor allem… …   Deutsch Wikipedia

  • ADALINE — Das Adaline Modell ist eine Form eines neuronalen Netzes. Der Name stand für ADAptive LInear NEuron, als neuronale Netze später an Popularität verloren, wurde das Akronym auch als ADAptive LINear Element übersetzt. Das Adaline Modell wurde 1960… …   Deutsch Wikipedia

  • LMS-Algorithmus — Der LMS Algorithmus (Least Mean Squares Algorithmus) ist ein Algorithmus zur Approximation der Lösung des Least Mean Squares Problems, das zum Beispiel in der digitalen Signalverarbeitung vorkommt. In der Neuroinformatik ist der Algorithmus vor… …   Deutsch Wikipedia

  • Adaline-Modell — Das Adaline Modell ist eine Form eines neuronalen Netzes. Der Name stand für ADAptive LInear NEuron, als neuronale Netze später an Popularität verloren, wurde das Akronym auch als ADAptive LINear Element übersetzt. Das Adaline Modell wurde 1960… …   Deutsch Wikipedia

  • Deltaregel — Der LMS Algorithmus (Least Mean Squares Algorithmus) ist ein Algorithmus zur Approximation der Lösung des Least Mean Squares Problems, das z. B. in der digitalen Signalverarbeitung vorkommt. In der Neuroinformatik ist der Algorithmus vor allem… …   Deutsch Wikipedia

  • Least Mean Squares — Der LMS Algorithmus (Least Mean Squares Algorithmus) ist ein Algorithmus zur Approximation der Lösung des Least Mean Squares Problems, das z. B. in der digitalen Signalverarbeitung vorkommt. In der Neuroinformatik ist der Algorithmus vor allem… …   Deutsch Wikipedia

  • Aktivierungsfunktion — Ein künstliches Neuron bildet die Basis für das Modell der künstlichen neuronalen Netze, einem Modell aus der Neuroinformatik, das durch biologische neuronale Netze motiviert ist. Als konnektionistisches Modell bilden sie in einem Netzwerk aus… …   Deutsch Wikipedia

  • Bias (Neuron) — Ein künstliches Neuron bildet die Basis für das Modell der künstlichen neuronalen Netze, einem Modell aus der Neuroinformatik, das durch biologische neuronale Netze motiviert ist. Als konnektionistisches Modell bilden sie in einem Netzwerk aus… …   Deutsch Wikipedia

  • Künstliches neuronales Netz — Künstliche neuronale Netze (selten auch künstliche neuronale Netzwerke, kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand… …   Deutsch Wikipedia

  • Künstliche neuronale Netze — (kurz: KNN, engl. artificial neural network – ANN) sind Netze aus künstlichen Neuronen. Sie sind ein Zweig der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Der Ursprung der künstlichen neuronalen Netze liegt …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”