MPEG-4 Part 10

H.264/MPEG-4 AVC ist ein Standard zur hocheffizienten Videokompression. Er wurde zunächst von der ITU (Study Group 16, Video Coding Experts Group) unter dem Namen H.26L entwickelt. Im Jahre 2001 schloss sich die ITU-Gruppe mit MPEG-Visual zusammen und führte die Entwicklung gemeinschaftlich im Joint Video Team (JVT) fort. Ziel des Projektes war es, ein Kompressionsverfahren zu entwerfen, das im Vergleich zu bisherigen Standards sowohl für mobile Anwendungen als auch im TV- und HD-Bereich die benötigte Datenrate bei gleicher Qualität mindestens um die Hälfte reduziert. Im Jahr 2003 wurde der Standard von beiden Organisationen mit identischem Wortlaut verabschiedet. Die ITU-Bezeichnung lautet dabei H.264. Bei ISO/IEC MPEG läuft der Standard unter der Bezeichnung MPEG-4/AVC (Advanced Video Coding) und ist der zehnte Teil des MPEG-4-Standards (MPEG-4/Part 10, ISO/IEC 14496-10).

MPEG-4/AVC unterscheidet sich deutlich von MPEG-4/ASP. H.264 erreicht typischerweise eine etwa dreimal so hohe Codiereffizienz wie H.262 (MPEG-2) und ist auch für hoch aufgelöste Bilddaten (z. B. HDTV) ausgelegt. Das heißt, vergleichbare Qualität ist etwa bei einem Drittel der MPEG-2-Datenmenge zu erreichen. Allerdings ist der Rechenaufwand auch um den Faktor 2 bis 3 höher.

Die für den Standard benutzten FourCCs sind „AVC1“, „DAVC“, „H264“, „X264“ und „VSSH.“ Die Matroska CodecID lautet „V_MPEG4/ISO/AVC“.

Das standardisierte Dateiformat/Containerformat ist MP4.

Einsatzgebiete

H.264 wurde nicht auf einen spezifischen Verwendungszweck zugeschnitten, sondern entfaltet seine Leistung in einem recht breiten Spektrum an Anwendungen. Daher sind die momentan aussichtsreichsten Einsatzgebiete auch von sehr verschiedener Gestalt:

• HDTV: H.264 ist eines der obligatorischen Videokompressionsverfahren der HD DVD und Blu-ray Disc-Standards, sowie für die hochauflösende Fernsehübertragung mittels DVB-S2 (z. B. Euro 1080 und Premiere HD, sowie den in der Vergangenheit ausgestrahlten Sendern Pro7 HD und Sat.1 HD) verpflichtend.
• Portable Video: Die konkurrierenden Mobilfernsehstandards DVB-H und DMB verwenden beide (unter anderem) H.264 für die Videokodierung für mobile Endgeräte, wie Mobiltelefone oder PDAs. Auch die PlayStation Portable, die 5. Generation des iPods, das Apple iPhone und der nur in Amerika erhältliche Zune-Player können H.264-Videos abspielen.
• Multimedia: Apple liefert sein Multimedia-Framework QuickTime ab Version 7 mit einem H.264-Codec aus. So sind beispielsweise in iChat AV 3.x erstmalig Mehrfach-Videokonferenzen möglich.
• Videokonferenztechnik: Seit 2005 stehen Anwendern Videokonferenzendsysteme mit H.264-Codecs zur Verfügung.
• Video-/Digicams: Eine Reihe von Digitalkameras unterstützen H.264 Kompression für Filmaufzeichnung, darunter Modelle von Casio, Kodak und Samsung, weiterhin auch elektronische Videokameras etwa von Canon, Sony und Sanyo.

Verwandte Verfahren

Während der Spezifizierung von H.264 spalteten sich zwei kommerzielle Entwicklungspfade ab, die zwar mehr oder weniger direkt auf H.264 aufsetzen, jedoch schlussendlich eine teilweise inkompatible Einheit darstellen:

• Sorenson Video 3, ein im Umfeld von QuickTime und im Kontext des *.mov-Dateiformat sehr verbreiteter Codec, der nur in Details von H.264 abweicht.
• Microsoft Windows Media Video 9 (*.wmv, FourCC: WMV9/wvc1) ist ein Videocodec der Firma Microsoft, welcher auch LoopFiltering einsetzt. Die Variante VC-1 (FourCC: wvc1) (vormals VC-9 nach WMV9) ist ebenfalls einer der obligatorischen Codecs für die HD-DVD und Blu-ray Disc.

Technische Details

H.264 baut weitestgehend auf seinen Vorgängern MPEG-1, MPEG-2, MPEG-4 und der H.261-Familie auf, weist jedoch deutliche Veränderungen und Erweiterungen auf:

• Anstelle einer Diskreten Kosinustransformation (DCT) auf 8 × 8 Pixel großen Blöcken wird eine von der DCT abgeleitete Integertransformation auf 4 × 4-Pixel-Blöcken verwendet. Die Berechnung dieser Transformation kommt lediglich mit Additionen, Subtraktionen und binären Verschiebeoperationen aus, was eine Hardwareimplementierung deutlich vereinfacht. Durch die geringere Blockgröße werden außerdem Ringing-Artefakte reduziert.
• Die Entropiekodierung wurde an die veränderte Transformation angepasst. H.264 unterstützt dabei neben den herkömmlichen Huffman-artigen VLC-Codes (CAVLC, Context Adaptive Variable Length Coding) auch eine leistungsfähigere arithmetische Kodierung (Context Adaptive Binary Arithmetic Coding (CABAC)).
• Macroblock Partitioning: Die Makroblöcke von der Größe 16 × 16 Pixel können in Unterblöcke bis hinunter zu einer Größe von 4 × 4 Pixeln unterteilt werden. Da für jeden Block ein eigener Bewegungsvektor gespeichert wird, können somit räumlich scharf abgegrenzte und vor allem komplexe Bewegungen besser kodiert werden.
• Die Bewegungskompensation ist immer auf ¼ Pixel genau (bei H.263, d.h. MPEG-4/ASP, war dies eine Option). Dabei wird zur Generierung der Zwischenpixel nicht mehr eine einfache bilineare Filterung eingesetzt, sondern es wird ein Filter mit endlicher Impulsantwort verwendet, der die Bildschärfe besser erhält.
• Intra Prediction: Auch innerhalb von I-Frames kommt eine Form der Bildvorhersage (prediction) zum Einsatz. Dabei werden die Pixelwerte eines Blocks aus den umliegenden, bereits dekodierten Pixeln abgeschätzt und dann lediglich die Differenz zum tatsächlichen Bildinhalt kodiert. Bei kleineren Bildformaten ist diese Methode im allgemeinen effizienter als JPEG 2000.
• Long-Term Prediction: P- und B-Frames können nicht nur Referenzen auf den jeweils letzten I- oder P-Frame enthalten, sondern auch zu theoretisch beliebig vielen vorhergehenden, um eine effizientere Kodierung von periodischen Bewegungen zu ermöglichen. In den Profiles und Levels ist die Anzahl von Referenzbildern allerdings auf maximal fünf begrenzt.
• Weighted Prediction: Werden Bildinhalte aus mehreren Referenz-Frames gemischt, können die Quellen beliebig gewichtet in die Mischung eingehen. So lassen sich Aus- und Überblendungen sehr effizient kodieren.
• Deblocking-Filter: Während sich die bisherigen MPEG-Codecs ausschließlich auf eine optionale, externe Nachbearbeitung/Filterung (engl. "postprocessing") verlassen, ist ein Deblocking-Filter integraler Bestandteil von H.264 (wie auch schon bei H.263). Referenzen auf bereits dekodierte Frames beziehen sich ebenfalls auf die bereits gefilterten Bilder. Damit erreicht man eine sehr hohe wahrgenommene Bildqualität. Besonders im Zusammenwirken mit der verkleinerten Transformationsgröße von 4 × 4 ergeben sich große subjektive (und in geringerem Maße auch objektive) Verbesserungen.
• Switching Slices: ermöglichen den nahtlosen Übergang zwischen verschiedenen Videoströmen, ohne dabei "teure" (weil große) I-Frames einsetzen zu müssen.
• Flexible Macroblock Ordering: Die Makroblöcke innerhalb eines Frames bzw. Slices können in relativ freier Reihenfolge angegeben werden. Dies lässt sich z. B. zur Fehlerverdeckung bei Kanalverlusten (Mobil-Video) einsetzen.

Siehe auch: Prädiktive Kodierung

Profile

Profile und Level sollen die Zusammenarbeit der verschiedenen Implementierungen der Hersteller unterstützen. Die Profile fassen bestimmte Merkmale zusammen, die unterstützt werden müssen. Ein Level setzt Beschränkungen auf die Variablen eines Datenstroms, wie etwa die maximale Auflösung oder Bitrate.

	Baseline	Extended	Main	High	High 10	High 4:2:2	High 4:4:4
I and P Slices	Ja	Ja	Ja	Ja	Ja	Ja	Ja
B Slices	Nein	Ja	Ja	Ja	Ja	Ja	Ja
SI and SP Slices	Nein	Ja	Nein	Nein	Nein	Nein	Nein
Multiple Reference Frames	Ja	Ja	Ja	Ja	Ja	Ja	Ja
In-Loop Deblocking Filter	Ja	Ja	Ja	Ja	Ja	Ja	Ja
CAVLC Entropy Coding	Ja	Ja	Ja	Ja	Ja	Ja	Ja
CABAC Entropy Coding	Nein	Nein	Ja	Ja	Ja	Ja	Ja
Flexible Macroblock Ordering (FMO)	Ja	Ja	Nein	Nein	Nein	Nein	Nein
Arbitrary Slice Ordering (ASO)	Ja	Ja	Nein	Nein	Nein	Nein	Nein
Redundant Slices (RS)	Ja	Ja	Nein	Nein	Nein	Nein	Nein
Data Partitioning	Nein	Ja	Nein	Nein	Nein	Nein	Nein
Interlaced Coding (PicAFF, MBAFF)	Nein	Ja	Ja	Ja	Ja	Ja	Ja
4:2:0 Chroma Format	Ja	Ja	Ja	Ja	Ja	Ja	Ja
4:2:2 Chroma Format	Nein	Nein	Nein	Nein	Nein	Ja	Ja
4:4:4 Chroma Format	Nein	Nein	Nein	Nein	Nein	Nein	Ja
8 Bit Sample Depth	Ja	Ja	Ja	Ja	Ja	Ja	Ja
9 and 10 Bit Sample Depth	Nein	Nein	Nein	Nein	Ja	Ja	Ja
11 and 12 Bit Sample Depth	Nein	Nein	Nein	Nein	Nein	Nein	Ja
8x8 vs. 4x4 Transform Adaptivity	Nein	Nein	Nein	Ja	Ja	Ja	Ja
Quantization Scaling Matrices	Nein	Nein	Nein	Ja	Ja	Ja	Ja
Separate Cb and Cr QP control	Nein	Nein	Nein	Ja	Ja	Ja	Ja
Monochrome Video Format	Nein	Nein	Nein	Ja	Ja	Ja	Ja
Residual Color Transform	Nein	Nein	Nein	Nein	Nein	Nein	Ja
Predictive Lossless Coding	Nein	Nein	Nein	Nein	Nein	Nein	Ja
	Baseline	Extended	Main	High	High 10	High 4:2:2	High 4:4:4

Level

Wie schon in MPEG-2 definiert H.264 verschiedene Level. Dieser ist umso höher, je größer die Bitrate des Videos ist.

Level	Max Macroblöcke / Sekunde	Max Bildgröße (in Macroblöcken)	Max Videobitrate (VCL) für Baseline, Extended und Main Profile	Max Videobitrate (VCL) für High Profile	Max Videobitrate (VCL) für High 10 Profile	Max Videobitrate (VCL) für High 4:2:2 und High 4:4:4 Profile	Beispiele für Hohe Auflösung / Bildrate in diesem Profil
1	1485	99	64 kbit/s	80 kbit/s	192 kbit/s	256 kbit/s	128x96/30.9 176x144/15.0
1b	1485	99	128 kbit/s	160 kbit/s	384 kbit/s	512 kbit/s	128x96/30.9 176x144/15.0
1.1	3000	396	192 kbit/s	240 kbit/s	576 kbit/s	768 kbit/s	176x144/30.3 320x240/10.0
1.2	6000	396	384 kbit/s	480 kbit/s	1152 kbit/s	1536 kbit/s	176x144/60.6 320x240/20.0 352x288/15.2
1.3	11880	396	768 kbit/s	960 kbit/s	2304 kbit/s	3072 kbit/s	352x288/30.0
2	11880	396	2 Mbit/s	2.5 Mbit/s	6 Mbit/s	8 Mbit/s	352x288/30.0
2.1	19800	792	4 Mbit/s	5 Mbit/s	12 Mbit/s	16 Mbit/s	352x480/30.0 352x576/25.0
2.2	20250	1620	4 Mbit/s	5 Mbit/s	12 Mbit/s	16 Mbit/s	720x480/15.0 352x576/25.6
3	40500	1620	10 Mbit/s	12.5 Mbit/s	30 Mbit/s	40 Mbit/s	720x480/30.0 720x576/25.0
3.1	108000	3600	14 Mbit/s	17.5 Mbit/s	42 Mbit/s	56 Mbit/s	1280x720/30.0 720x576/66.7
3.2	216000	5120	20 Mbit/s	25 Mbit/s	60 Mbit/s	80 Mbit/s	1280x720/60.0
4	245760	8192	20 Mbit/s	25 Mbit/s	60 Mbit/s	80 Mbit/s	1920x1080/30.1 2048x1024/30.0
4.1	245760	8192	50 Mbit/s	62.5 Mbit/s	150 Mbit/s	200 Mbit/s	1920x1080/30.1 2048x1024/30.0
4.2	522240	8704	50 Mbit/s	62.5 Mbit/s	150 Mbit/s	200 Mbit/s	1920x1080/64.0 2048x1080/60.0
5	589824	22080	135 Mbit/s	168.75 Mbit/s	405 Mbit/s	540 Mbit/s	1920x1080/72.3 2560x1920/30.7
5.1	983040	36864	240 Mbit/s	300 Mbit/s	720 Mbit/s	960 Mbit/s	1920x1080/120.5 4096x2048/30.0
Level	Max Macroblöcke / Sekunde	Max Bildgröße (in Macroblöcken)	Max Videobitrate (VCL) für Baseline, Extended und Main Profile	Max Videobitrate (VCL) für High Profile	Max Videobitrate (VCL) für High 10 Profile	Max Videobitrate (VCL) für High 4:2:2 und High 4:4:4 Profile	Beispiele für Hohe Auflösung / Bildrate in diesem Profil

Implementierungen

• AVCHD Multimediastandard für hochauflösende, digitale Consumer- und Prosumer-Videokameras.
• JM-Referenzsoftware des Joint-Video-Team.
• x264 ist ein unter der GPL lizenzierter H.264-Kodierer.
• Die freie, LGPL-lizenzierte Bibliothek libavcodec beinhaltet einen H.264-Dekodierer.
• Apple hat H.264 in Mac OS X ab Version 10.4 (Tiger), und in QuickTime Version 7 integriert.
• Nero Digital, beinhaltet einen von der Nero AG und Ateme entwickelten H.264-Kodierer.
• Sorenson bietet eine Implementierung von H.264 an.
• Main Concept bietet einen H.264-Kodierer an.
• Lead Technologies hat einen H.264-Videocodec.
• CoreAVC ist ein Software-H.264-Decoder
• Pixeltools Expert-H264
• Flash Player 9 Update 3
• dicas digital image coding bietet MPEG-4 AVC/H.264 Videocodecs an.

Patente

Viele der Verfahren, welche in H.264 zur Anwendung kommen, sind durch Patente geschützt. Wie schon bei MPEG-2 wird auch bei MPEG-4 von den Herstellern und Dienstanbietern, die diesen Standard einsetzen wollen, eine Gebühr verlangt. Damit man nicht bei jedem Patentinhaber einzeln um die Erlaubnis bitten muss, geben diese ihre Patente normalerweise einem Patent-Pool zur Verwaltung, der sich um die Aufschlüsselung der einzelnen Einnahmen kümmert. Da dies jedoch eine freiwillige Maßnahme ist, haben sich bei H.264 zwei Patentpools gebildet, denen sich noch nicht alle Patenthalter angeschlossen haben. Zum einen ist dies MPEG-LA (Licensing Authority), die bereits die Patent-Pools für MPEG-2 verwaltet, und zum anderen ein Patent-Pool der Via Licensing, einer Tochterfirma von Dolby Laboratories.

Weblinks

• Apples QuickTime-7-HD-Galerie
• x264 – Ein freier H.264/AVC-Kodierer (Download hier: http://x264.nl/)
• Technische Beschreibung (englisch)
• Liste mit Bitraten von H.264-kodierten europäischen Satellitensendern
• MPEG LA - Verwalter des H.264-Patentpools
• Codec-Vergleich H.264 mit VC-1 auf Multimedia-Wiki (englisch)
• MPEG Industry Forum - Promoter von MPEG-4 AVC/H.264 und anderen MPEG Standards (englisch)