Video Error Concealment Techniques for Multi-Broadcast Reception of Digital TV (PDF)

Abstract

The transmission of digital TV signals to mobile receivers is often error-prone. As most TV broadcasting techniques provide only moderate error robustness, horizontal lines of consecutive image blocks are lost during decoding of the received video signals. In order to ensure high viewing experiences, these lost slices have to be filled by error concealment techniques. However, the reconstruction qualities of classical approaches which exploit spatial, temporal, or spatio-temporal signal correlations are not convincing yet.

In the future, mobile TV receivers will support different broadcasting techniques in parallel. As a result, an erroneous high-resolution video signal and a correctly received low-resolution video signal, both representing the same TV service, will often be available. Focusing on the outlined scenario for multi-broadcast reception of digital TV signals, this thesis introduces the novel category of inter-sequence error concealment algorithms. The basic idea is to fill lost slices of the high-resolution video signal by the interpolated low-resolution video signal. Since the images of this reference signal are often cropped and delayed, robust spatio-temporal image alignment is crucial. By including a pixel-based or a feature-based alignment scheme, the proposed concealment algorithms provide excellent visual qualities and outstanding reconstruction qualities of up to 41 dB PSNR. Classical concealment techniques are outperformed by up to 15 dB PSNR.

To further enhance the reconstruction quality, several extensions are introduced. First, the alignment robustness and the interpolation quality are increased. Subsequently, a classical temporal approach is incorporated as an alternative concealment mode to cope with low image qualities of the reference signal. Novel aspects include robust mode selection, enhanced motion estimation, and the reconstruction of the displaced frame differences from the reference signal. As a last extension, spatial refinement tackles blurring of concealed image blocks. Missing spectral components are recovered in a frequency selective way based on approximation and extrapolation principles. By combining all relevant extensions, the PSNR gain adds up to 20 dB with respect to classical concealment.

Finally, inter-sequence error concealment is adapted to multi-broadcast reception of two erroneous high-resolution video signals. While spatial alignment can be omitted, classical concealment of blocks, being lost in both video signals, and drift compensation in predictively-coded frames are novel aspects. Again, high visual qualities are obtained and classical concealment is outperformed by up to 15 dB PSNR.



Zusammenfassung

Der Empfang digitaler Fernsehsignale mit mobilen Endgeräten wird meist durch Übertragungsfehler gestört. Da viele der eingesetzten Übertragungsstandards nur unzureichende Korrekturmechanismen bieten, können bei der Decodierung der empfangenen Videosignale Blockzeilenverluste auftreten. Um die Verlustgebiete zu verschleiern, werden üblicherweise zeitliche, örtliche oder zeitlich-örtliche Signalkorrelationen ausgenutzt. Die dabei erzielte Rekonstruktionsqualität ist jedoch häufig nicht zufriedenstellend.

Zukünftig werden mobile Fernsehempfänger mehrere Übertragungsstandards parallel unterstützen. Durch den Einsatz dieser Mehrfachempfänger ist jedes Fernsehprogramm typischerweise in Form eines gestörten, hochauflösenden Videosignals und eines ungestörten, niedrigauflösenden Videosignals verfügbar.

Ausgehend vom Mehrfachempfang digitaler Fernsehsignale wird in dieser Arbeit eine neue Gruppe von Verfahren zur Fehlerverschleierung beschrieben. Die grundlegende Idee dieser Ansätze besteht darin, verlorene Bildblöcke des hochauflösenden Videosignals durch Blöcke des interpolierten niedrigauflösenden Referenzsignals zu ersetzen. Da das Referenzsignal häufig nur Bildausschnitte zeigt und zudem meist zeitverzögert eintrifft, ist die korrekte Bestimmung der örtlichen Abbildungsparameter und des zeitlichen Versatzes ausschlaggebend für eine hochqualitative Verschleierung. Durch den Einsatz bildbasierter oder merkmalsbasierter Schätzverfahren werden eine exzellente visuelle Bildqualität und eine außergewöhnlich hohe Rekonstruktionsqualität erzielt. Der Spitzensignal-Rauschabstand beträgt bis zu 41 dB. Herkömmliche Verfahren werden um bis 15 dB übertroffen.

Um die Rekonstruktionsqualität weiter zu erhöhen werden zahlreiche Erweiterungen der beschriebenen Verschleierungsansätze vorgeschlagen. Zuerst werden die Zuverlässigkeit der Parameterschätzung und die Interpolationsqualität verbessert. Danach wird ein herkömmliches zeitliches Verschleierungsverfahren integriert, um eine niedrige Bildqualität des Referenzsignals zu kompensieren. Neue Aspekte sind dabei die robuste Wahl des besseren Verschleierungsmodus, eine verbesserte Bewegungsschätzung und die Rekonstruktion des Prädiktionsfehlers unter Verwendung des Referenzsignals. Zuletzt wird die Bildschärfe bereits verschleierter Blöcke erhöht. Dazu werden fehlende Spektralanteile basierend auf frequenzselektiven Approximations- oder Extrapolationsansätzen wiederhergestellt. Durch die Kombination aller relevanten Erweiterungen wird die Rekonstruktionsqualität herkömmlicher Verfahren um bis zu 20 dB übertroffen.

Abschließend werden die beschriebenen Fehlerverschleierungsverfahren an ein Szenario für den Mehrfachempfang digitaler Fernsehsignale angepasst, bei dem zwei fehlerhafte hochauflösende Videosignale verfügbar sind. Während die Schätzung der örtlichen Abbildungsparameter entfällt, müssen Bildblöcke, die in keinem der beiden Videosignale korrekt empfangen wurden, durch herkömmliche Verfahren verschleiert werden. Als weitere Neuerung wird ein Verfahren zur Kompensation des Drifteffekts in prädiktiv codierten Bildern vorgeschlagen. Auch bei diesem Empfangsszenario wird eine hohe visuelle Bildqualität erzielt und die Rekonstruktionsqualität herkömmlicher Verfahren um bis zu 15 dB übertroffen.