Tonemapping

Tone Mapping oder Tone Reproduction bezeichnet die Dynamikkompression von HDR-Bildern, also von digitalen Bildern mit hohem Helligkeitsumfang. Beim Tone Mapping wird der Kontrastumfang eines HDR-Bildes verringert, um es auf herkömmlichen Ausgabegeräten darstellen zu können.

Physiologischer Hintergrund

In der Natur kommt ein Dynamikumfang (Verhältnis von größter und kleinster Leuchtdichte) von über 10⁹:1 vor, wenn man das Sonnenlicht mit dem Sternenlicht vergleicht.^[1] Der zu einem bestimmten Zeitpunkt typischerweise beobachtete Dynamikumfang liegt in der Größenordnung von 1:10.000. Die menschliche visuelle Wahrnehmung löst das Tone-Mapping-Problem, da sie in der Lage ist, sich den vorherrschenden Helligkeitsverhältnissen anzupassen. Auf unterschiedliche absolute Helligkeitsbedingungen (photopisch, mesopisch, skotopisch) reagiert das Auge nichtlinear.

Viele Tone-Mapping-Verfahren basieren auf den Erkenntnissen über die menschliche visuelle Wahrnehmung, da ihr Ziel darin besteht, ein möglichst naturgetreu wirkendes Bild zu berechnen. Die wichtigste Rolle spielen dabei die Fotorezeptoren, deren Adaptation sich nach der Naka-Rushton-Gleichung wie folgt beschreiben lässt:^[1]

$\frac{R}{R_\mathrm{max}} = \frac{I^n}{I^n+\sigma_\mathrm{b}^n}$

Hierbei ist R die Fotorezeptor-Reizstärke, R_max ist die maximale Reizstärke, I ist die Lichtstärke und σ_b die Lichtstärke, die die halbe Reizstärke bei der vorherrschenden Hintergrundintensität hervorruft. Mehrere Tone-Mapping-Verfahren basieren auf einer Gleichung, die dieser ähnelt.

Verfahren

Es existieren zahlreiche Tone-Mapping-Operatoren, die sich jedoch nur in wenige grundlegend verschiedene Klassen einteilen lassen. So genannte globale Operatoren verwenden eine Funktion, die jedem HDR-Wert einen dynamikkomprimierten Wert zuweist und die auf jedes Pixel angewandt wird. Im Gegensatz dazu wird bei lokalen Operatoren diese Funktion für jedes Pixel je nach lokalem Adaptationsniveau variiert. Frequenzbasierte Operatoren nutzen eine grundlegend andere Technik, bei der der Dynamikumfang von Bildregionenen je nach Ortsfrequenz reduziert wird. Schließlich gibt es noch gradientenbasierte Operatoren, die die Helligkeitsgradienten des Ausgangsbildes für jedes Pixel abschwächen, um das LDR-Bild (Bild mit geringem Helligkeitsumfang) zu erzeugen.

Viele Operatoren erwarten, dass die Werte des Ausgangsbildes als Leuchtdichte in einer bestimmten Einheit (cd/m²) kalibriert sind. Das liegt daran, dass die nichtlineare Wahrnehmung von absoluten Helligkeiten berücksichtigt wird; eine Tageslichtszene wird demnach anders dargestellt als eine Nachtszene. Es ist jedoch oft möglich, die originalen Lichtverhältnisse direkt anhand des HDR-Bildes rekonstruieren, indem das Histogramm ausgewertet wird. Die meisten Tone-Mapping-Verfahren ignorieren die Farbwahrnehmung weitgehend und wenden den neuen Helligkeitswert auf alle Kanäle gleich an.

Globale Operatoren

Ein HDR-Bild nach Anwendung vier verschiedener Tone-Mapping-Operatoren (im Uhrzeigersinn: Reinhard, Fattal, Mantiuk^[2], Reinhard/Devlin)

Globale Operatoren verarbeiten die Pixel des Ausgangsbildes unabhängig voneinander. Sie sind schneller als andere Verfahren und können oft in Echtzeit ausgeführt werden. Allerdings eignen sie sich weniger gut für Szenen mit sehr großem Dynamikumfang, da sie eher dazu neigen, in sehr hellen und sehr dunklen Bereichen Details zu verlieren.

Viele globale Operatoren basieren auf Adaptationsmodellen, bei denen die Hintergrundintensität bekannt sein muss. Diese Intensität kann abgeschätzt werden, indem das arithmetische Mittel der Pixelwerte berechnet wird, das geometrische Mittel ist jedoch die bevorzugte Methode.^[3]

Der einfachste globale Operator rechnet die Werte des Ausgangsbildes linear auf den Dynamikumfang des LDR-Bildes herunter. Dieses Verfahren ist jedoch unzureichend, da Details und Kontrast verloren gehen.

Miller

Der erste globale Tone-Mapping-Operator wurde 1984 von Miller und Hoffmann vorgestellt.^[4] Das Ziel bestand darin, gerenderte HDR-Bilder für das architektonische Lichtdesign darzustellen. Dazu wird das Ausgangsbild zunächst in empfundene Helligkeitswerte umgewandelt. Helligkeitsverhältnisse verschiedener Bildbereiche sollen dabei gleich bleiben. Dies wird erreicht, indem die Helligkeiten normalisiert und anschließend in Luminanzwerte umgewandelt werden. Als Helligkeit-Luminanz-Beziehung wählten die Autoren basierend auf psychophysikalischen Daten, die nur bis ca. 1000 cd/m² gültig sind, sich also nur für Innenraum-Szenen eignen.

Tumblin-Rushmeier

Tumblin und Rushmeiers Operator auf den gleichen psychophysikalischen Daten wie Millers Verfahren.^[5][6] Allerdings wird eine etwas andere Helligkeitsfunktion als bei Miller verwendet. Im Gegensatz zu Miller versucht der Tumblin-Rushmeier-Operator nicht die Helligkeitsverhältnisse, sondern die Helligkeitswerte selbst zu erhalten.

Ward

Wards Operator gehört zu den Tone-Mapping-Verfahren, die sich nicht auf die Helligkeitswahrnehmung konzentrieren, sondern versuchen, Kontraste beizubehalten.^[7] Dabei werden die beim Betrachten des Ausgangsbildes wahrgenommenen JND-Werte über eine Threshold-versus-Intensity-Funktion mit den entsprechenden JNDs im LDR-Bild in Beziehung gesetzt. Die Ausgangswerte werden mit einem so ermittelten konstanten Faktor skaliert.

Ferwada

Auch der Operator von Ferwada et al. versucht, JNDs in Beziehung zu setzen.^[8] Er arbeitet ebenfalls linear, berücksichtigt aber im Gegensatz zu Ward eine skotopische Komponente. Auch der Schärfeverlust bei dunklen Szenen wird berücksichtigt, indem Bildfrequenzen über einem Schwellenwert gefiltert werden.

Drago

Dragos Operator nutzt die Tatsache, dass das menschliche visuelle System auf Intensität in erster Annäherung logarithmisch reagiert.^[9] Die Basis des Logarithmus wird für jedes Pixel unterschiedlich gewählt, so dass hellere Bereiche stärker komprimiert werden.

Reinhard und Devlin

Außerhalb eines bestimmten Bereichs ist die Reizstärke des visuellen Systems nicht mehr logarithmisch. Der Operator von Reinhard und Devlin basiert auf den Ergebnissen elektrophysiologischer Experimente, die nahelegen, dass Fotorezeptoren auf Intensität gemäß einer Sigmoidfunktion ansprechen.^[10] Der Operator wird auf die verschiedenen Farbkanäle einzeln angewandt.

Ward (Histogram Adjustment)

Wards Histogram-Adjustment-Technik berechnet ein Histogramm aus dem Logarithmus der Pixelwerte.^[11] Das Tone Mapping basiert auf dem so berechneten Histogramm, wobei darauf geachtet wird, dass der Kontrast beibehalten wird und dass die visuelle Wahrnehmung berücksichtigt wird. In einem Nachbearbeitungsschritt werden Aspekte wie Glare, Farbempfindlichkeit und Schärfe berücksichtigt. Diese Faktoren machen besonders bei Nachtszenen einen großen Unterschied.

Schlick

Dieses Verfahren, genannt Uniform rational quantization, verwendet eine Sigmoid-ähnliche Funktion.^[12] Der Operator ist durch zwei benutzerdefinierte Parameter konfigurierbar, deren Wirkung jedoch schwer intuitiv abzuschätzen ist.

Reinhard

Die von Reinhard und anderen veröffentlichte Methode basiert auf den in der Fotografie genutzten Tone-Mapping-Techniken, insbesondere dem Zonensystem.^[13] Wie in der modernen Fotografie werden vor allem helle Regionen komprimiert. Für diesen Operator gibt es auch eine lokale Variante (siehe unten).

Lokale und frequenzbasierte Operatoren

Typische Halo-Artefakte beim Tone Mapping mit einem lokalen Operator

Lokale Operatoren sind in der Lage, eine große Klasse von HDR-Bildern zu verarbeiten, da sie einen größeren Dynamikumfang darstellen können, ohne Details zu verlieren. Sie gehen davon aus, dass die menschliche Helligkeitswahrnehmung sich nicht dem gesamten Bild anpasst, sondern nur kleineren Regionen.

Um den lokalen Helligkeitswert für jedes Pixel zu berechnen, kann ein radialer Filter verwendet werden, der auf die Nachbarpixel angewandt wird. Diese Methode führt jedoch zu Halo-Artefakten und Kontrastumkehrungen nahe Kanten, da dort zu große Helligkeitsunterschiede innerhalb des Filterradius vorherrschen. Um dieses Problem zu umgehen, können mehrere Methoden verwendet werden:

• Eine Möglichkeit besteht darin, den Filterradius zu variieren.^[14][13]Der Radius des Filters wird ausgehend vom Wert 1 so lange verdoppelt, bis die Pixel der Kante das Ergebnis verfälschen, also wenn der neue Mittelwert von alten um einen bestimmten Wert abweicht.
• Eine andere Möglichkeit ist die bilaterale Filterung. Der Radius bleibt dabei gleich, ein vom Filter überlapptes Pixel fließt jedoch nur dann in die Rechnung mit ein, wenn die Differenz oder das Verhältnis zum zentralen Pixel einen bestimmten Wert nicht überschreitet. Es wird also nicht nur mittels radialem Filter in Abhängigkeit von der Entfernung zum zentralen Pixel, sondern auch in Abhängigkeit vom Helligkeitswert gefiltert. Durand und Dorsey verwenden für beide Faktoren Gaußfunktionen^[15]; Pattanaik und Yee verwenden für den radialen Faktor eine Zylinderfunktion und für den Helligkeits-Faktor eine Exponentialfunktion.^[16]
• Die bilaterale Filterung tendiert dazu, abrupte Änderungen des Helligkeitsgradienten weichzuzeichnen. Andererseits werden kurvige Bereiche und Regionen mit hohem Gradienten nicht genügend weichgezeichnet. Choudhury und Tumblin haben mit der trilateralen Filterung eine Erweiterung vorgestellt, die auch Helligkeitsgradienten berücksichtigt.^[17]

Zur Bestimmung des optimalen Filterradius kann eine Reihe von Tiefpass-gefilterten Versionen des Ausgangsbildes verwendet werden.^[13][14]

Frequenzbasierte Operatoren teilen das Ausgangsbild in ein gefiltertes HDR-Bild mit geringen Ortsfrequenzen und ein ungefiltertes LDR-Bild mit hohen Frequenzen auf, die anschließend kombiniert werden. Allerdings kann das gefilterte Bild auch so interpretiert werden, dass jedes Pixel einen lokalen Adaptationswert liefert. Daher lässt sich nicht immer klar zwischen lokalen und frequenzbasierten Operatoren trennen.

Chiu

Chiu et al. waren die ersten, die die Vorteile eines je nach Bildregion variierenden Operators erkannten.^[18] Da ihr Verfahren nur einen einfachen Gauß-Filter verwendet, sind starke Halo-Effekte zu erwarten.

Rahman

Rahman und Jobsons Arbeit basiert auf der Retinex-Theorie.^[19] Der Operator wird auf die Farbkanäle einzeln angewandt. In der einfachen Variante ähnelt das Verfahren Chius Operator, arbeitet aber im logarithmischen Bereich. In der komplexeren Variante berechnet der Rahman-Operator das LDR-Bild aus einer gewichteten Summe von verschiedenen, unterschiedlich stark weichgezeichneten Versionen des Ausgangsbildes. Die Gewichtung der Bilder wird durch einen benutzerdefinierten Parameter kontrolliert.

Fairchild

Fairchilds iCAM ist ein Farbwahrnehmungsmodell, das als Verfeinerung des CIECAM02-Modells die chromatische Adaption berücksichtigt.^[20] Mittels eines Parameters lässt sich ein Kompromiss zwischen Dynamikkompression und Halo-Effekten einstellen. Der Operator arbeitet mit absoluten, kalibrierten Helligkeitswerten. Bei zu geringen Werten kommt es zu einer rötlichen Farbverschiebung, bei zu hohen Werten wird ein zu dunkles Bild berechnet.

Pattanaik

Auch Pattanaiks Operator ist im Grunde ein Farbwahrnehmungsmodell.^[21] Das Modell ist sehr aufwändig und eignet sich vor allem für Bilder mit extremem Dynamikumfang.

Ashikhmin

Ashikhmins Operator versucht, viele Schritte der visuellen Wahrnehmung, die für die Dynamikkompression relevant sind, einzubeziehen.^[14] Durch einen variablen Filterradius wird versucht, bei der Dynamikkompression den Kontrast beizubehalten.

Reinhard

Von Reinhards Tone-Mapping-Operator existiert eine lokale Variante, die ähnlich wie das in der Fotografie verwendete Abwedeln arbeitet.^[13]

Pattanaik

Pattanaik und Yees Tone-Mapping-Operator verwendet einen Weichzeichnungsfilter, der Kanten beibehält.^[16] Mit dieser Methode werden Halos deutlich reduziert.

Yee

Viele HDR-Bilder enthalten große Bereiche, die entweder hell oder dunkel sind. Yee und Pattanaiks Operator basiert auf der Segmentierung des Bilder in derartige Regionen mit annähernd gleicher Helligkeit, indem das Histogramm ausgewertet wird. Für jede Bildregion wird ein unterschiedliches Adaptationsniveau verwendet.^[22]

Oppenheim

Oppenheim et al. waren die ersten, die die Dynamikkompression für Bilder erforschten.^[23] Ihr Operator berechnet zunächst den Logarithmus für jeden Pixelwert. Anschließend wendet er eine schnelle Fourier-Transformation an, um zwischen niedrigen und hohen Frequenzen zu trennen, die unterschiedlich stark abgeschwächt werden. Das Verfahren geht davon aus, dass die Oberflächen der Szene diffus sind; für andere Bilder liefert es möglicherweise unzufriedenstellende Ergebnisse.

Durand

Durand wendet bilaterale Filterung an, um Kanten zu erhalten, aber Innenbereiche weichzuzeichnen.^[15]

Choudhury

Choudhury führte mit der trilateralen Filterung eine Erweiterung ein, die auch Intensitätsgradienten berücksichtigt.^[17]

Gradientenbasierte Operatoren

Diese Klasse von Tone-Mapping-Operatoren berechnet die Gradienten des Ausgangsbildes und schwächt sie ab.

Horn

Horns Methode berechnet die Gradienten des Bildes mittels Vorwärtsdifferenzierung und setzt Gradienten, deren Stärke unter einem Schwellenwert liegt, auf 0.^[24] Um das LDR-Bild zu erhalten, muss das Gradientenfeld durch numerische Lösung einer Differentialgleichung integriert werden.

Fattal

Fattals Tone-Mapping-Operator wendet eine Komprimierungsfunktion auf das Gradientenfeld an, die stärkere Gradienten mehr als schwächere verringert.^[25] Dadurch werden feine Details beibehalten, während größere Helligkeitsgradienten abgeschwächt werden. Der Operator ist durch zwei Parameter konfigurierbar, mit denen sich ein Kompromiss zwischen starker Kompression und Detailtreue einstellen lässt.

Vergleich

Tone-Mapping-Operatoren unterscheiden sich in Geschwindigkeit, Vorhandensein und Stärke von Artefakten, Beibehaltung von Bilddetails sowie der Fähigkeit, HDR-Bilder mit sehr großem Dynamikbereich komprimieren zu können. Einige Studien befassen sich mit dem Vergleich von Tone-Mapping-Verfahren.^[26][27][28] Die Internationale Beleuchtungskommission hat das Arbeitskommitee TC8-08 gebildet, um Methoden zur Validierung von Tone-Mapping-Operatoren zu entwickeln.^[29] Beim visuellen Vergleich verschiedener Operatoren ergibt sich die Schwierigkeit, dass Änderungen an Parametern große Auswirkungen auf das Ergebnis haben können.

Literatur

• Erik Reinhard u. a.: High Dynamic Range Imaging. Morgan Kaufman, San Francisco 2006, ISBN 0-12-585263-0

Weblinks

• Evaluation of Tone Mapping Operators (englisch)
• Erik Reinhards Kommentar zu unnatürlichen Tone-Mapping-Parametereinstellungen (englisch)

Einzelnachweise

1. ↑ ^{a b} Reinhard u. a.: High Dynamic Range Imaging, S. 187
2. ↑ Rafał Mantiuk u. a.: A Perceptual Framework for Contrast Processing of High Dynamic Range Images. In Proceedings of Second Symposium on Applied Perception in Graphics and Visualization 2005, S. 87–94. ACM Press, New York 2005, ISBN 1-59593-139-2
3. ↑ Reinhard u. a.: High Dynamic Range Imaging, S. 212
4. ↑ Gene Miller, C. Robert Hoffmann: Illumination and Reflection Maps: Simulated Objects in Simulated and Real Environments. In SIGGRAPH 84 Course Notes for Advanced Computer Graphics Animation. (PDF, 30 KB)
5. ↑ John Tumblin, Holly Rushmeier: Tone Reproduction for Realistic Computer Generated Images. Technical Report GIT-GVU-91-13, Graphics, Visualization, and Useability Center, Georgia Institute of Technology 1991 (Online)
6. ↑ John Tumblin, Holly Rushmeier: Tone Reproduction for Computer Generated Images. IEEE Computer Graphics and Applications 13, 6 (Nov. 1993): 42–48, ISSN 0272-1716
7. ↑ Greg Ward: Real Pixels. In James Avro (Hrsg.): Graphics Gems II, S. 80–83. Academic Press, San Diego 1992, ISBN 0-12-286166-3
8. ↑ James Ferwarda u. a.: A Model of Visual Adaptation for Realistic Image Synthesis. In SIGGRAPH 96 Conference Proceedings, S. 249–258. ACM, New York 1996, ISBN 0-89791-746-4 (PDF, 570 KB)
9. ↑ Frédéric Drago u. a.: Adaptive Logarithmic Mapping for Displaying High Contrast Scenes. Computer Graphics Forum 22, 3 (2003): 419–426, ISSN 0167-7055 (Online)
10. ↑ E. Reinhard, K. Devlin: Dynamic Range Reduction Inspired by Photoreceptor Physiology. IEEE Transactions on Visualization and Computer Graphics 11, 1 (Jan./Feb. 2005): 13–24, ISSN 1077-2626 (PDF, 5,5 MB)
11. ↑ Gregory Ward Larson: A Visibility Matching Tone Reproduction Operator for High Dynamic Range Scenes. IEEE Transactions on Visualization and Computer Graphics 3, 4 (Oct.-Dec. 1997): 291–306 (PDF, 880 KB)
12. ↑ Christophe Schlick: Quantization Techniques for the Visualization of High Dynamic Range Pictures. In Georgios Sakas u. a. (Hrsg.): Photorealistic Rendering Techniques, S. 7–20. Springer, New York 1995, ISBN 3-540-58475-7
13. ↑ ^{a b c d} Erik Reinhard u. a.: Photographic Tone Reproduction for Digital Images. ACM Transactions on Graphics 21, 3 (Jul. 2002): 267–276, ISSN 0730-0301 (Online)
14. ↑ ^{a b c} Michael Ashikhmin: A Tone Mapping Algorithm for High Contrast Images. In Proceedings of 13th Eurographics Workshop on Rendering, S. 145–155. Eurographics, Aire-la-Ville 2002, ISBN 1-58113-534-3
15. ↑ ^{a b} Frédo Durand, Julie Dorsey: Fast Bilateral Filtering for the Display of High-dynamic-range Images. ACM Transactions on Graphics, 21, 3 (2002): 257–266 (Online)
16. ↑ ^{a b} Sumanta Pattanaik, Hector Yee: Adaptive Gain Control for High Dynamic Range Image Display. In Proceedings of the Spring Conference on Computer Graphics 2002, S. 83–87. ACM, New York 2002 (PDF, 140 KB)
17. ↑ ^{a b} Prasun Choudhury, Jack Tumblin: The Trilateral Filter for High Contrast Images and Meshes. In Proceedings of the Eurographics Symposium on Rendering 2003, S. 186–196. (PDF, 2,0 MB)
18. ↑ K. Chiu u. a.: Spatially Nonuniform Scaling Functions for High Contrast Images. In Proceedings of Graphics Interface ’93, S. 245–253. Toronto 1993 (PDF, 420 KB)
19. ↑ Zia-ur Rahman u. a.: A Multiscale Retinex for Color Rendition and Dynamic Range Compression. In SPIE Proceedings: Applications of Digital Image Processing XIX, Vol. 2847. SPIE, Denver 1996 (Online)
20. ↑ Mark Fairchild, Garrett Johnson: Meet iCAM: An Image Color Appearance Model. In IS&T/SID 11th Color Imaging Conference, S. 36–41. IS&T, Scottsdale 2003 (Online)
21. ↑ Sumanta Pattanaik u. a.: A Multiscale Model of Adaptation and Spatial Vision for Realistic Image Display. In SIGGRAPH 98 Conference Proceedings, S. 287–298. ACM, New York 1998, ISBN 0-89791-999-8 (PDF, 1,5 MB)
22. ↑ Hector Yee, Sumanta Pattanaik: Segmentation and Adaptive Assimilation for Detail-preserving Display of High-dynamic Range Images. The Visual Computer 19, 7-8 (2003): 457–466, ISSN 0178-2789 (PDF, 220 KB)
23. ↑ A. Oppenheim u. a.: Nonlinear Filtering of Multiplied and Convolved Signals. IEEE Transactions on Audio and Electroacoustics 16, 3 (Sep. 1968): 437–466, ISSN 0018-9278
24. ↑ Berthold Horn: Determining Lightness from an Image. Computer Graphics and Image Processing 3 (1974): 277–299, ISSN 1530-1834 (PDF, 1,1 MB)
25. ↑ Raanan Fattal u. a.: Gradient Domain High Dynamic Range Compression. ACM Transactions on Graphics 21, 3 (Jul. 2002): 249–256 (Online)
26. ↑ Frédéric Drago u. a.: Perceptual Evaluation of Tone Mapping Operators with Regard to Similarity and Preference. Technical Report MPI-I-2002-4-002, Max-Planck-Institut für Informatik 2002 (PDF, 2,0 KB)
27. ↑ Jiangtao Kuang u. a.: Testing HDR Image Rendering Algorithms. In Proceedings of IS&T/SID 12th Color Imaging Conference. IS&T, Scottsdale 2004
28. ↑ Akiko Yoshida u. a.: Perceptual Evaluation of Tone Mapping Operators with Real-World Scenes. In Human Vision and Electronic Imaging X, IS&T/SPIE's 17th Annual Symposium on Electronic Imaging, S. 192–203 SPIE, San Jose 2005 (PDF, 480 KB)
29. ↑ Garrett Johnson: Cares and Concerns of CIE TC8-08: Spatial Appearance Modeling and HDR Imaging. In SPIE/IS&T Electronic Imaging Conference. IS&T, San Jose 2005 (PDF, 2,1 MB)