TOF-Kamera

TOF-Kameras sind 3D-Kamerasysteme, die mit dem Laufzeitverfahren (englisch.: time of flight, TOF) Distanzen messen. Dazu wird die Szene mittels eines Lichtpulses ausgeleuchtet, und die Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Das Prinzip entspricht dem Laserscanning mit dem Vorteil, dass eine ganze Szene auf einmal aufgenommen wird und nicht abgetastet werden muss.

TOF-Kameras sind im Gegensatz zu anderen Methoden eine relativ neue Entwicklung. Die Systeme können im Entfernungsbereich von einigen bis ca. 40 Metern eingesetzt werden. Die Distanzauflösung beträgt dabei etwa 1 cm, die lateralen Auflösungen erreichen etwa 200 × 200 Pixel. Die Kameras liefern, das ist der große Vorteil dieser Technik, bis zu 100 Bilder pro Sekunde.

Für diese neue Technik sind noch andere Begriffe wie zum Beispiel PMD-Kamera gebräuchlich^[1].

• Beispiele für TOF-Kameras
• 

  „PMDs CamCube mit 204 × 204 Pixel und SBI“

• 

  „SwissRanger 4000 von MESA Imaging mit 176 × 144 Pixel“

• 

  „TOF-Kamera aus dem europäischen ARTTS-Projekt mit 176 × 144 Pixel und Stromversorgung über USB“

Aufbau

Eine TOF-Kamera besteht mindestens aus folgenden Komponenten:

Beleuchtungseinheit

Mit ihr wird die Szene beleuchtet. Hier werden entweder LEDs oder Laserdioden verwendet, die genügend schnell moduliert werden können, damit der Sensor einwandfrei die Laufzeit messen kann. Die Pulsdauer bewegt sich dabei im Nanosekundenbereich. Die Beleuchtung sendet meist im nahen Infrarot, damit die Umgebung nicht durch die Kamera gestört wird.

Optik

Eine Optik sammelt das von der Umgebung reflektierte Licht wieder ein und bildet die Szene auf dem Sensor ab. Ein optischer Bandpassfilter lässt nur die Wellenlänge durch, mit der auch die Beleuchtung arbeitet. Somit wird ein großer Teil des störenden Hintergrundlichtes eliminiert.

Sensor

Das Herzstück der TOF-Kamera ist der Sensor, der die Laufzeit für jeden Bildpunkt separat misst. Der Bildsensor ähnelt dabei anderen Chips für Digitalkameras mit dem Unterschied, dass ein Pixel um einiges komplizierter aufgebaut ist: Es muss nicht einfach das einfallende Licht sammeln können, sondern die Laufzeit messen. Durch den komplizierteren Aufbau sind die Pixel im Vergleich zu Digitalkameras groß, sie erreichen Seitenlängen bis 100 µm. Die bisher höchste Auflösung von ToF-Sensoren beträgt 204 × 204 Pixel bei einer Kantenlänge von 45 µm.

Ansteuerelektronik

Die Beleuchtung und der Sensor müssen mit einer aufwendigen Elektronik angesteuert werden, um eine möglichst hohe Genauigkeit zu erzielen. Verschieben sich die Ansteuersignale zwischen Beleuchtung und Sensor nur um 10 ps, so ändert sich die gemessene Distanz schon um 1,5 mm. Zum Vergleich: Heutige Prozessoren erreichen Frequenzen von bis zu 3 GHz, also „Genauigkeiten“ von 300 ps oder 45 mm.

Auswertung/Interface

Direkt im Kamerasystem geschieht meist auch die Berechnung der Distanz aus den gemessenen Werten. Dazu werden auch Kalibrierwerte im System abgespeichert. Als Schnittstelle kommt unter anderen USB oder Ethernet zum Einsatz.

Funktionsweise

Prinzip von TOF-Kameras

Die einfachste Form von TOF-Kameras arbeitet mit Lichtpulsen: Die Beleuchtung wird für einen kurzen Moment eingeschaltet, der Lichtpuls beleuchtet die Szene und wird an den Objekten reflektiert. Das Objektiv der Kamera sammelt dieses Licht und bildet die Szene auf dem Sensor ab. Je nach Distanz erfährt das auf den einzelnen Pixeln auftreffende Licht eine Verzögerung. Da sich das Licht mit Lichtgeschwindigkeit (in der Luft ca. 299.710 Kilometer pro Sekunde) ausbreitet, sind diese Zeiten sehr klein: Die Laufzeit des Lichts von der Kamera zu einem 2,5 m entfernten Gegenstand und zurück zur Kamera beträgt:

$t_\mathrm{D} = 2\,\frac{D}{c_\mathrm{luft}} = 2\,\frac {2{,}5\,\mathrm{m}} {299.710\,\mathrm{km}\,\mathrm{s}^{-1}} \approx 16{,}7\,\mathrm{ns}$

Aufgrund des Auswertungsprinzips (s.u.) bestimmt die Pulslänge der Beleuchtung den maximalen Distanzbereich, den die Kamera abdecken kann. Mit einer Pulslänge von 50 ns können Distanzen bis zu

$D_\mathrm{max} = \frac{c_\mathrm{luft} \, t_0}{2} = \frac{299.710\,\mathrm{km}\,\mathrm{s}^{-1} \cdot 50 \,\mathrm{ns}}{2} \approx 7{,}5\,\mathrm{m}$

gemessen werden. Diese kurzen Zeiten zeigen, dass die Beleuchtung ein kritischer Teil des Systems ist. Nur mit ausgesuchten LEDs oder mit aufwendiger anzusteuernden Lasern ist es möglich, solch kurze Pulse zu erzeugen.

Die einzelnen Pixel bestehen aus einem photoempfindlichen Element (z. B. Fotodiode), es wandelt das Licht in einen Strom um. An die Fotodiode sind einer oder mehrere schnelle Verschlüsse oder Schalter angebracht, welche nur für einen ganz bestimmten Zeitraum das elektrische Signal durch lassen. Ein nachgeschaltetes Speicherelement summiert das Signal auf.

In der Beispielskizze arbeitet das Pixel mit 2 Schaltern (G₁ und G₂) und Speicherelementen (S₁ und S₂). Die Schalter werden mit einem Pulssignal mit der gleichen Länge wie der Lichtpuls angesteuert, wobei das Steuersignal für G₂ um eine Pulslänge verschoben ist. Trifft nun das reflektierte Licht verzögert auf das Pixel auf, so gelangt nur ein Teil des Signals in das Speicherelement S₁, der andere Teil wird in S₂ gesammelt. Je nach Distanz verändert sich also das Verhältnis von S₁ und S₂, wie es in der zweiten Grafik dargestellt ist. Da innerhalb von 50 ns nur sehr wenig Licht gesammelt werden kann, wird nicht nur ein Puls sondern mehrere Tausend mit einer Repetitionsrate von (t_R-1) ausgesandt und gesammelt, was die Signalstärke erhöht.

Nach der Aufnahme werden die Pixel ausgelesen und die nachfolgende Stufe misst die Signale S₁ und S₂. Da die Länge des Lichtpulses bekannt ist, kann die Distanz wie folgt berechnet werden:

$D=\frac{c_\mathrm{luft}\,t_0}{2}\cdot\frac{S_2}{S_1+S_2}$

Im Beispiel sind S₁ = 0,66 und S₂ = 0,33. Die Entfernung ist somit

$D \approx 7{,}5\,\mathrm{m} \cdot \frac {0{,}33} {0{,}33 + 0{,}66} = 2{,}5\,\mathrm{m}$

Hintergrundlicht ergibt auf den beiden Speicherelementen einen zusätzlichen Signalanteil. Um diesen zu eliminieren, kann die Aufnahme noch einmal mit inaktiver Beleuchtung durchgeführt werden und diese Werte von den Signalen mit Beleuchtung abgezogen werden. Sind die Objekte weiter als der Distanzbereich entfernt, so ergeben sich mit der obigen Formel falsche Distanzwerte. Das kann auch mit einer zweiten Messung, bei der die Schaltsignale nochmals um t₀ verschoben werden, unterdrückt werden. Andere Systeme arbeiten anstelle der Pulse mit einer Sinusmodulation, bei der die Anforderungen an die Flankensteilheit der Beleuchtung kleiner sind.

Vor- und Nachteile

Vorteile

Einfacher Aufbau: Im Gegensatz zu Laserscanner beinhaltet die Kamera keine beweglichen Teile. Da die Beleuchtung und das Objektiv nahe beieinander liegen, ist auch der Platzbedarf gegenüber Stereo- und Triangulationssystemen kleiner und Abschattungen sind ausgeschlossen.

Effiziente Datenauswertung: Mit den Distanzinformationen der TOF-Kameras ist es einfach, Objekte aus einem Bild zu extrahieren: Es wird ein Distanzschwellwert gesetzt und nur die Pixel, die nähere Distanzen liefern, werden beachtet. Komplizierte Algorithmen zur Objekterkennung entfallen. Dies macht die Anwendung dieser Kameras äußerst robust.

Geschwindigkeit: Die TOF-Kameras bilden die komplette Szenerie mit einer Aufnahme ab. Die Bildraten erreichen bis zu 100 Bilder pro Sekunde und ermöglichen somit Echtzeitanwendungen.

Musterunabhängigkeit: Im Gegensatz zu Stereosystemen, die Schwierigkeiten mit wiederholenden Mustern oder uniformen Flächen bekommen können, funktionieren TOF-Kameras mit allen diffus reflektierenden Materialien.

Nachteile

Hintergrundlicht: Obwohl der größte Teil des Hintergrundlichtes durch den optischen Filter unterdrückt wird, muss das Pixel dennoch mit einer sehr großen Dynamik zurechtkommen, muss die dadurch entstehende Ladung doch auch gespeichert oder abgeführt werden können. Zum Vergleich: Die derzeit ökonomisch möglichen Beleuchtungsstärken bewegen sich im Bereich von einem Watt. Die Sonne leistet in dem gefilterten Wellenlängenbereich immer noch 50 Watt pro Quadratmeter. Beträgt die beleuchtete Szene ein Quadratmeter, so ist die Sonne 50mal stärker als das Nutzsignal.

Die verschiedenen Hersteller haben unterschiedliche Strategien für ihre Sensoren entwickelt, um dieses Hintergrundsignal zu einem guten Teil unterdrücken zu können (siehe zum Beispiel SBI des PMD-Sensors, der bis 150 klx arbeitet).

Gegenseitige Störung: Sind mehrere Systeme in Betrieb, kann es sein, dass sich die verschiedenen Kameras gegenseitig stören und somit der Distanzwert verfälscht wird. Hierzu gibt es mehrere Möglichkeiten, dies zu umgehen:

• Zeitmultiplex: Eine übergeordnete Steuerung startet die Messung der einzelnen Kameras nacheinander, so dass immer nur eine Beleuchtung in Betrieb ist.
• Unterschiedliche Frequenzen: Arbeiten die Kameras mit leicht unterschiedlichen Modulationsfrequenzen, so wird das Licht der einen Kamera in der anderen nur als Hintergrundanteil demoduliert und verfälscht die Messung nicht.

Mehrfachreflexion: Da im Gegensatz zu den Laserscanningsystemen eine ganze Szenerie und nicht nur ein einzelner Punkt beleuchtet wird, ist es möglich, dass mehrfach reflektiertes Licht von einem Gegenstand zurück auf den Sensor gelangt. Die gemessene Distanz kann in diesem Fall größer als in Wirklichkeit sein.

Anwendungsgebiete

Distanzbild aufgenommen mit TOF-Kamera zur Gestensteuerung

Automotive Anwendungen

Time-of-Flight-Kameras werden als Fahrerassistenz- und Sicherheitssensoren im Automobilbereich eingesetzt. Dazu zählen Applikationen wie der aktive Fußgängerschutz, Precrash Detektion aber auch Innenraumapplikationen wie die Out-of-Position-Detektion ^[2][3].

Mensch-Maschinen-Schnittstellen / Gaming

Durch die Echtzeitfähigkeit der TOF-Kameras können die Bewegungen eines Menschen verfolgt werden. Daher eröffnen sich neue Interaktionsmöglichkeiten mit den Geräten. Neben der Steuerung von z. B. Fernsehern ist die Anwendung der TOF-Kameras an Spielkonsolen ein interessantes Thema.

Messtechnik / Industrielle Bildverarbeitung

Vermessung von Objekten mit Hilfe von 3D-TOF-Bildern

Durch die dritte Dimension lassen sich Messaufgaben wie die Bestimmung von Füllhöhen in Silos einfach bewerkstelligen. In der industriellen Bildverarbeitung profitieren zum Beispiel Roboter, die Gegenstände von einem Förderband aufnehmen müssen, von der zusätzlichen Höhenangabe. Türsteuerungen können mit Hilfe der Höhe einfach zwischen Tieren und Menschen unterscheiden.^{[4] [5]}

Robotik

Ein weiteres Einsatzgebiet sind mobile Roboter: Mit den Umgebungsbild in Echtzeit können fahrbare Roboter ihre Umgebung schnell überblicken, Hindernissen ausweichen oder zum Beispiel einer Person folgen. Da die Berechnung der Distanz einfach ist, wird nur wenig Rechenleistung für die Erstellung der Umgebungskarte verbraucht.

Medizin

Patientenpositionierung mit Hilfe von 3D-TOF-Bildern

TOF-Kameras können auch als zusätzliche bildgebende Modalität in der Medizintechnik eingesetzt werden. Beispiele für diese Anwendungen werden im Folgenden kurz aufgezeigt:

• Atemdetektion: Mit Hilfe von TOF-Kameras ist es möglich, ein multidimensionales Atemsignal zu berechnen. Es ist somit möglich, berührungslos und ohne Marker an mehreren Stellen (z. B. Thorax, Abdomen) unabhängige Atemsignale zu messen. Dies ist v. a. wichtig bei der Bestrahlung von Tumoren im Oberkörperbereich oder für die Reduktion von Artefakten, z. B. bei der Computer- (CT) oder Positronen-Emissions-Tomographie (PET).
• Patientenpositionierung: TOF-Kameras ermöglichen auch die exakte Positionierung von Patienten im klinischen Umfeld. Hierfür werden die 3-D-Punktwolken eines Referenz TOF-Bildes mit einer weiteren Punktwolke registriert. Ergebnis dieser Registrierung ist die Translation und Rotation, die auf den Patienten angewendet werden muss, dass dieser exakt gleich liegt wie bei der Aufnahme des Referenzbildes. Anwendungen hierfür sind ebenfalls in der Bestrahlungstherapie zu finden. Hier wird an einer initialen CT-Messung die Bestrahlung geplant. Dieser Plan muss bei sämtlichen folgenden Bestrahlungssitzungen valide sein. Dies kann durch eine Registrierung von TOF-Bildern erfolgen.

Literatur

• Pia Breuer: Entwicklung einer prototypischen Gestenerkennung in Echtzeit unter Verwendung einer IR Tiefenkamera. 2005 (Universität Koblenz Landau; Diplomarbeit; PDF-Datei; 2,80 MB; Gestenerkennung mit TOF-Kameras)
• Martin Profittlich: Minority Report -Futuristische Interface-Technologien durch 3D-Bildverarbeitung. In: Inspect. Nr.2, 2009 (HTML-Version, Abgerufen am 30. September 2009).
• Christian Schaller, Jochen Penne, Joachim Hornegger: Time-of-flight sensor for respiratory motion gating. In: Medical Physics. 35, Nr. 7, 2008, S. 3090–3093, doi:10.1118/1.2938521 (Atemdetektion mit TOF-Kameras, TOF-Forschungsgruppe des Lehrstuhl für Mustererkennung]Universität Erlangen-Nürnberg, PDF-Datei; 214 kB).
• "Technological overview of Time-of-Flight cameras" - Beschreibung der Technologie und Vergleich zu anderen Echtzeit 3-D Erfassungssystemen, Metrilus.de, abgerufen 13. Juli 2011

Weblinks

Allgemeines

• Stefan Fuchs, Stefan May: Calibration and Registration for Precise Surface Reconstruction with TOF Cameras. (Kalibrierung von TOF-Kameras; englisch; PDF-Datei; 2,49 MB).
• Gesturespace, Arbeit an der Zürcher Hochschule der Künste
• ARTTS - Homepage des europäischen Forschungsprojekt ARTTS über den Einsatz von TOF-Kameras

Videos

• Video auf YouTube: Anwendungsvideo für den PMDvision®CamCube
• Video auf YouTube: Gestensteuerung mittels TOF-Kamera
• Video auf YouTube: TV Eingabe mittels Gestenbedienung
• Video auf YouTube: Mauscursorersatz mittels TOF-Kamera
• Video auf YouTube: Atemdetektion mittels TOF-Kamera
• Video auf YouTube: Steuerung eines Roboters mittels 3D-Objekttracking
• Video auf YouTube: 3D Multi-touch Prototype for Augmented and Virtual Reality

Einzelnachweise

1. ↑ Christoph Heckenkamp: Das magische Auge - Grundlagen der Bildverarbeitung: Das PMD Prinzip. In: Inspect. Nr. 1, 2008, S. 25–28.
2. ↑ Michael Paintner: Alles im Blick - Fahrerassistenz- und Sicherheitsfunktionen mit einer 3D-PMD-Kamera. In: AutomobilKONSTRUKTION. Nr. 2, 2007, S. 66–67 (PDF-Datei; 954 kB).
3. ↑ Gerd Kucera: NoAE-Innovationspreis der Automobilindustrie für 3-D-Kamera erhalten. In: Elektronik Praxis.10. August 2009, Abgerufen am 11. August 2009.
4. ↑ Siehe auch die erste 3D-Industriekamera, die von der Firma ifm electronic GmbH in Zusammenarbeit mit der PMDTechnologies GmbH entwickelt wurde.
5. ↑ siehe auch die in einem Forschungsprojekt in der Schweiz zusammen mit dem CSEM entwickelte TOF-Kamera ESPROS/TOF.