Optischer Fluss

Bewegungsvektoren, die eine schnelle Kamerafahrt auf ein Ziel unten-mittig im Bild verursacht hat. Hier stammen die Vektoren aus der Bewegungsschätzung, die in MPEG-Daten gespeichert sind und sind somit kein regelmäßiges Vektorfeld für jeden Pixel im Bild.

Als Optischer Fluss (eng. Optical Flow) wird in der Bildverarbeitung und in der optischen Messtechnik ein Vektorfeld bezeichnet, das die Bewegungsrichtung und -Geschwindigkeit für jeden Bildpunkt einer Bildsequenz angibt. Der Optische Fluss kann als die auf die Bildebene projizierten Geschwindigkeitsvektoren von sichtbaren Objekten verstanden werden.

Der Optische Fluss ist eine wichtige Repräsentation von Bewegungsinformation; er wird beispielsweise im Zusammenhang mit der optischen Navigation von Robotern und Fahrzeugen (Sichtnavigation) sowie optischen Computermäusen verwendet, und bildet eine Ausgangsbasis für die Erkennung der dreidimensionalen Struktur von Szenen, zur Schätzung von Bewegungen im Raum und für die Erkennung von einzelnen bewegten Objekten (Segmentierung). Es wird vermutet, dass der Optische Fluss auch bei Lebewesen eine wichtige Rolle in der visuellen Informationsverarbeitung spielt, beispielsweise ebenfalls bei der Sichtnavigation.

Methodik und Anwendungen

Der Optische Fluss ist eine Größe, die aus den Bilddaten nicht direkt und eindeutig berechnet werden kann, sondern die man mit mehr oder weniger aufwändigen Verfahren schätzen muss. Alle diese Schätzverfahren können sich nur auf die messbaren Helligkeitsmuster im Bild stützen. Alle anderen Größen, die in aktuellen Schätzverfahren für den Optischen Fluss eingesetzt werden (insbesondere die Ableitungen der Grauwertfunktion nach den beiden Ortsvariablen und nach der Zeit) können bei digitalen (genauer: diskreten) Bilddaten ebenfalls nur aus den Abtastwerten geschätzt werden.
Eine genaue und eindeutige Bestimmung von Richtung und Länge eines Optischen-Flussvektors ist für einen einzelnen Bildpunkt aus prinzipiellen Gründen niemals möglich; alle praktikablen Berechnungsverfahren müssen zwangsläufig Informationen aus einem Gebiet G um den betrachteten Bildpunkt miteinander kombinieren. Nur derjenige Anteil des Optischen Flussvektors, der parallel zum Helligkeitsgradienten verläuft, kann aus einer lokalen Messung eindeutig bestimmt werden. Dieses grundsätzliche Problem bezeichnet man als Aperturproblem.
Ob der interessierende Vektor genau bestimmt werden kann, hängt also davon ab, ob innerhalb des betrachteten Gebietes G Grauwert-Gradienten in unterschiedliche Richtungen vorliegen. Außerdem ist es notwendig, eine Modellvorstellung davon zu haben, welchen prinzipiellen Verlauf der Optische Fluss innerhalb des betrachteten Gebietes haben kann; im einfachsten Fall wird angenommen, dass der Optische Fluss innerhalb kleiner Gebiete als konstant betrachtet werden kann. Kompliziertere Verläufe des Flussfeldes (z. B. affine Modelle) sind möglich und werden in leistungsfähigen Verfahren eingesetzt.

Der Optische Fluss ist also grundsätzlich eine nicht direkt messbare Größe; der Begriff bezeichnet also auch das (angestrebte) Ergebnis eines Rechenverfahrens. Oft werden jedoch bestimmte Verfahren, die den Optischen Fluss zu berechnen suchen, mit dem gleichen Begriff bezeichnet. Besonders im Englischen wird der Terminus Optical Flow auch als Gegensatz zu Methoden der Bewegungsschätzung verwendet, die aus dem Bereich der Video-Kompression stammen. Während klassische Optical Flow Verfahren meist differentiell (d. h. auf der Grundlage von Ableitungen und Gradienten des Grauwertsignals) arbeiten und in der Regel ein dichtes Bewegungs- bzw. Vektorfeld ergeben, verwenden Techniken der Bildkompression, beispielsweise aus dem MPEG-Standard, ganze Gruppen von Bildpunkten (Blöcke) und liefern einzelne Bewegungsvektoren für ganze Blöcke von Pixeln.

Wichtige Methoden zur Berechnung des Optischen Flusses sind die bereits erwähnten differentiellen Verfahren, die in der Regel bildpunktweise arbeiten, und andererseits die blockweise arbeitenden Verfahren, die in der Bildcodierung und in der Fotogrammetrie verbreitet sind: fotogrammetrischer Blockausgleich von Bildblöcken, Blockkorrelation (minimierte Summe der absoluten Differenzen, normalisierte Kreuzkorrelation). Eine Sonderform der blockweisen Bewegungsschätzung ist die auf der Fourier-Transformation aufbauende Phasenkorrelation (Inversion des normalisierten Kreuzleistungsdichtespektrums).

Formeln für den Optischen Fluss

Die Berechnung des Optischen Flusses mithilfe von differenziellen Methoden geht auf das 1981 am MIT entwickelte Verfahren von Berthold Horn und Brian Schunck^[1] zurück.

Man nimmt an, dass die Helligkeit E an entsprechenden Stellen der Einzelbilder in der Bildsequenz konstant ist. Dann folgt aus der Ableitung

$\frac{dE}{dt} = \frac{\partial E}{\partial t} + \frac{\partial E}{\partial x}\frac{dx}{dt}+ \frac{\partial E}{\partial y}\frac{dy}{dt}$

als notwendige Bedingung die Bestimmungsgleichung für die Geschwindigkeiten:

$\frac{\partial E}{\partial t} + \frac{\partial E}{\partial x}\frac{dx}{dt}+ \frac{\partial E}{\partial y}\frac{dy}{dt} = 0.$

(Vergleiche Kontinuitätsgleichung)

Die Lösung dieser Gleichung ist im Sinne von Jacques Hadamard ein schlecht gestelltes Problem. Daher wird von der Lösung zusätzlich Glattheit gefordert.

Es gibt mehrere Methoden den optischen Fluss zu bestimmen darunter:

• Lucas-Kanade-Methode
• Horn-Schunck-Methode

Einige bekannte Algorithmen zur Berechnung des Optischen Flusses sind in der C-Bibliothek OpenCV implementiert.

Anwendung bei der Biene und beim Menschen

Bienen und andere Tierarten nutzen den Optischen Fluss, um Hindernissen auszuweichen und Abstände einfach schätzen zu können. Sie werten dazu offenbar die Bilder beider Facettenaugen aus und fliegen dann in die Richtung des Auges mit geringerem Optischen Fluss. Das führt auf einfachste Weise zu einer Flugbahn, die den größten Freiraum und die wenigsten Hindernisse vor sich hat.

Ein ähnlicher Vorgang ist die Basis unserer alltäglichen Erfahrung im Fußgänger- und im Straßenverkehr: wir nehmen die Bewegung der anderen Verkehrsteilnehmer aus den Augenwinkeln wahr und berücksichtigen sie "unbewusst" bei der eigenen Fortbewegung. Schert hingegen ein Verkehrsteilnehmer aus diesem Fluss aus, ist unser Gesichtssinn sofort alarmiert und es wird teilweise sogar ein schützender Reflex ausgelöst, wie ein Sprung oder ein Einziehen des Kopfes.

Siehe auch

• Bildverarbeitung, Bildverstehen, Bewegungskompensation, Pixel,
• Bewegungsschätzung, analytische Photogrammetrie, Geschwindigkeitsvektor, Stereoskopie, Videoformat

Quellen

1. ↑ Berthold K. P. Horn and Brian G. Schunck: "Determining optical flow.," Artificial Intelligence, vol. 17, no. 1-3, pp. 185--203, 1981

Weblinks

• http://www.centeye.com/pages/techres/opticflow.html (engl.)
• http://www.cs.cf.ac.uk/Dave/Vision_lecture/node45.html (engl.)