Die Alliance for Open Media (AOMedia) hat die finale Spezifikation von AV2 veröffentlicht. Der neue Videocodec soll langfristig AV1 als lizenzfreies Format der nächsten Generation ablösen. Laut den Evaluierungen der Entwickler erreicht AV2 bei vergleichbarer Bildqualität im Mittel rund 30 Prozent niedrigere Bitraten als AV1. Die Spezifikation beschreibt zahlreiche neue Coding-Werkzeuge, darunter datengetriebene Transformationen, eine verbesserte Entropiecodierung, neue Filter zur Bildnachbearbeitung und zusätzliche Verfahren zur Bewegungsprädiktion.

AOMedia wurde unter anderem von Google, Amazon, Microsoft, Cisco, Netflix, Mozilla und Intel gegründet, um offene und lizenzfreie Medienstandards zu entwickeln. Den AV2-Vorgänger AV1 unterstützen inzwischen alle großen Browser sowie viele Streaming-Plattformen und Hardware-Decoder. Anders als aktuelle Forschungsansätze für neuronale Videocodecs bleibt AV2 ein klassischer hybrider Blockcodec. Er sagt Bildbereiche voraus, transformiert die verbleibenden Fehlerdaten, quantisiert sie und kodiert sie schließlich entropisch. Die Details beschreibt die offizielle AV2-Spezifikation.

Rund 30 Prozent geringere Bitrate als AV1

Die wichtigste Kennzahl liefert bislang eine Evaluierungsstudie aus dem AV2-Umfeld. Demnach benötigt AV2 im Mittel etwa 30 Prozent weniger Bitrate als AV1, um eine vergleichbare visuelle Qualität zu erreichen. Streaming-Anbieter könnten ein 4K-Video damit entweder mit deutlich weniger Bandbreite ausliefern oder bei gleicher Bandbreite in höherer Qualität streamen. Die Ergebnisse stammen allerdings überwiegend aus dem Kreis der AV2-Entwickler; unabhängige Vergleichsstudien stehen noch aus. Methodik und Ergebnisse beschreibt das Paper Video Quality Evaluation Methodology and Result of AV2 Compression Performance.

Zu den auffälligsten Änderungen gegenüber AV1 gehören größere Codiereinheiten. Während AV1 Superblöcke mit maximal 128 × 128 Pixeln verwendet, unterstützt AV2 nun Superblöcke bis 256 × 256 Pixel. Zusammen mit einer erweiterten rekursiven Blockpartitionierung kann der Encoder große, wenig strukturierte Bildbereiche effizienter zusammenfassen, während feine Details weiterhin in kleineren Blöcken kodiert werden.

Datengetriebene Transformationen und neue Entropiekodierung

Zu den technisch interessantesten Neuerungen zählen außerdem die datengetriebenen Transformationen („Data-Driven Transforms“). Videocodecs überführen die nach der Vorhersage verbleibenden Fehlerdaten in eine mathematisch besser komprimierbare Form. Bislang dominieren dafür klassische Verfahren wie die diskrete Kosinustransformation (DCT). AV2 ergänzt sie um statistisch optimierte Transformen, die anhand von Trainingsdaten entwickelt wurden und typische Bildstrukturen effizienter abbilden sollen. Hinzu kommen laut den Entwicklern neue Transform-Kerne und erweiterte Verfahren, um Transform-Blöcke aufzuteilen. Die Details finden sich in dem Paper Transform and Entropy Coding in AV2.

Auch die Entropiekodierung haben die Entwickler erweitert. Sie bildet die letzte Stufe der eigentlichen Kompression und bestimmt, wie effizient sich die bereits transformierten Daten als Bitstrom speichern lassen. AV2 nutzt dafür zusätzliche Kontextmodelle und feinere Wahrscheinlichkeitsabschätzungen, um statistische Zusammenhänge zwischen Bilddaten besser auszunutzen. Solche Änderungen wirken auf den ersten Blick unspektakulär, tragen aber häufig erheblich zur Bitratenersparnis bei.

Bessere Bewegungsvorhersage und neue Bildfilter

Weitere Neuerungen betreffen die Bewegungsprädiktion und Bewegungskompensation. Moderne Videocodecs speichern nur selten vollständige Einzelbilder, sondern beschreiben vor allem die Veränderungen zwischen aufeinanderfolgenden Frames. Je präziser ein Codec Bewegungen modelliert, desto weniger Restdaten muss er übertragen. Zu den neuen Verfahren gehören unter anderem Werkzeuge, die Bewegungsverläufe über mehrere Referenzbilder hinweg verfolgen oder virtuelle Zwischenbilder für die Bewegungsvorhersage erzeugen. Die AV2-Spezifikation definiert dafür zusätzliche Vorhersagewerkzeuge und erweiterte Bewegungsmodelle.

Ebenfalls neu sind zusätzliche In-Loop-Filter zur Nachbearbeitung dekodierter Bilder. Sie greifen noch während des Decodierprozesses ein und sollen Artefakte reduzieren, ohne feine Bilddetails zu verlieren. Zu den neuen Verfahren zählen der Cross-Component Sample Offset (CCSO), der Helligkeitsinformationen zur Korrektur von Farbfehlern nutzt, sowie der Guided Detail Filter (GDF), der Bilddetails beim Glätten besser erhalten soll.

Hinzu kommt die Unterstützung von Intra Block Copy (IBC). Damit kann ein Codec Bildbereiche aus demselben Frame als Referenz nutzen, statt ausschließlich auf andere Bilder der Videosequenz zurückzugreifen. Das Verfahren eignet sich besonders für Bildschirmaufzeichnungen, Remote-Desktop-Anwendungen, Cloud-Gaming oder Präsentationen, in denen sich viele identische Elemente innerhalb eines Bildes wiederholen. Ähnliche Verfahren kennt man bereits aus anderen modernen Videocodecs wie VVC.

Konkurrenz zu VVC und langer Weg in die Geräte

Mit den genannten Effizienzgewinnen rückt AV2 deutlich näher an die Komprimierungseffizienz von VVC (H.266) heran, dem derzeit leistungsfähigsten standardisierten Videocodec. Ob AV2 VVC in der Praxis erreicht oder sogar übertrifft, lässt sich allerdings noch nicht belastbar beurteilen. Dafür fehlen unabhängige Vergleichsmessungen und ausgereifte Encoder-Implementierungen.

Mit der Spezifikation beginnt zudem erst die eigentliche Einführung des Formats. Über den Markterfolg entscheiden leistungsfähige Encoder, Hardware-Unterstützung in GPUs und SoCs sowie die Integration in Browser und Streaming-Plattformen. Die Erfahrungen mit AV1 zeigen, dass zwischen der Veröffentlichung einer Spezifikation und ihrer breiten Verbreitung mehrere Jahre liegen können. Weitere Informationen stellt AOMedia auf der Projektseite zu AV2 bereit.

(fo)