Quickprop

Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel. Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll.

Der k-te Approximationsschritt ist dabei gegeben durch:

$\Delta^{(k)} \, w_{ij} = \Delta^{(k-1)} \, w_{ij} \left ( \frac{\nabla_{ij} \, E^{(k)}}{\nabla_{ij} \, E^{(k-1)} - \nabla_{ij} \, E^{(k)}} \right)$

Dabei ist w_ij das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler.

Der Quickprop-Algorithmus konvergiert im allgemeinen schneller als Backpropagation, jedoch kann sich das Netzwerk in der Lernphase aufgrund zu großer Schrittweiten chaotisch verhalten.

Literatur

• Scott E. Fahlman: An Empirical Study of Learning Speed in Back-Propagation Networks, September 1988