Inpainting

Inpainting ist eine Methode der Bildbearbeitung, die versucht, zerstörte oder verlorene Teile eines Bildes zu rekonstruieren. Das Ziel ist es, ein überarbeitetes Bild zu erzeugen, an dem der Betrachter nicht erkennen kann, dass Veränderungen vorgenommen wurden.

Anwendungsgebiete

Links das Original Bild, Rechts wurde die Frau mithilfe von Inpainting gelöscht

Rekonstruktion fehlender Bildteile

Alte Bilder können Risse aufweisen oder es können einzelne Teile komplett fehlen. Mit Hilfe von Inpainting können die fehlenden Bildteile rekonstruiert werden.

Entfernen von Objekten

Beim Entfernen von Objekten oder Personen von einem Bild ist die einzige Benutzereingabe, die dazu benötigt wird, eine Markierung des zu entfernenden Objekts. Anschließend wird das Objekt automatisch ersetzt. Die Hauptschwierigkeit besteht darin, den Hintergrund möglichst stetig bezüglich der Farbe und Textur in die zu füllende Fläche hineinzuziehen.^[1]

Bildkompression

Inpainting kann auch als Bildkompression verwendet werden. Um eine Kompression zu erreichen werden Pixelblöcke gelöscht. Dabei werden in Gebieten gleichbleibender Textur relativ viele Blöcke gelöscht und entlang von Kanten nur wenige, damit der Kantenverlauf nicht verloren geht. Nach der Rekonstruktion der gelöschten Blöcke ist kein Qualitätsverlust gegenüber einer JPEG Komprimierung erkennbar.

Ursprung

Sämtliche Verfahren, die Image Inpainting behandeln, beruhen auf dem Handwerk von Rekonstruktoren. Dies ist ein alter Beruf, der hauptsächlich von Bildrestauratoren ausgeübt wird. Der Prozess, der Inpainting genannt wird, ist das sukzessive fortführen der Randinformationen in das Bildinnere hinein (Lücke füllen). Rekonstruktoren gehen dabei folgendermaßen vor:

1. Die Gesamtheit des Bildes verleiht einen Eindruck, wie das Bild fortgesetzt werden soll. Das Ergebnis sollte ein in sich stimmiges Bild sein.
2. Die Konturlinien, die den Rand der Maske berühren, werden entlang ihrer gedachten Verlängerung ins Bild weitergeführt, sowie die Struktur von der Gegend um die Maske herum.
3. Die Konturlinien in der Maske definieren unterschiedliche Regionen und werden mit zum Rand passenden Farben gefüllt.
4. Die Textur wird hinzugefügt, d.h. kleine Details wie weiße Punkte auf blauem einheitlichem Himmel werden gemalt, damit das Bild natürlich wirkt.

Auch die meisten digitalen Algorithmen verwenden teilweise diese Vorgehensweise.

Algorithmen

2D Image Inpainting

Inpainting Algorithmen können in 3 Arten eingeteilt werden:

Structural Inpainting

Structural Inpainting konzentriert sich auf die Rekonstruktion der Struktur (Kanten) im fehlenden Bildteil. Eine der wichtigsten Structural Inpainting Methoden ist PDE. PDE basiert auf der partiellen Differentialgleichung. Der Algorithmus verlängert die isophoten Linien, das sind Linien gleicher Grauwerte, am Rand iterativ in den zu füllenden Bereich hinein. Anschließend wird die Farbe in den Füllbereich hineingezogen. ^[2] Es gibt auch noch einige andere Ansätze wie z.B. die Navier-Stokes Fluid Flow Methode.

Textural Inpainting

Textural Inpainting konzentriert sich nur auf die Rekonstruktion von Textur.

Combined structural and textural Inpainting

Combined structural and textural Inpainting Methoden können die Struktur und die Textur rekonstruieren.

3D Inpainting in Image-based Rendering

Image-based Rendering ist eine Klasse von Rendering-Ansätzen, bei denen die geometrische Modellierungsphase durch einen Bildaufnahmeprozess ersetzt wird. Da auf Bildern nie alle Informationen eines dreidimensionalen Objektes abgebildet werden können, wird ein Inpainting Schritt eingeführt, der fehlende Informationen möglichst natürlich rekonstruiert.

Quellen

1. ↑ Object Removal by Exemplar-Based Inpainting, Criminisi, A, Perez, P., & Toyama, K., Appears in the Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition
2. ↑ M. Bertalmío, G. Sapiro, V. Caselles and C. Ballester., "Image Inpainting", Proceedings of SIGGRAPH 2000, New Orleans, USA, July 2000.