A maximum likelihood approach to video error correction applied to H.264 decoding

Caron, François (2013). A maximum likelihood approach to video error correction applied to H.264 decoding. Thèse de doctorat électronique, Montréal, École de technologie supérieure,.

Prévisualisation	PDF Télécharger (1MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

Video error concealment has long been identified as the last line of defense against transmission errors. This is especially true for real time video communication systems where retransmissions are rarely used because of timing constraints. Since error handling is outside the scope of video coding standards, decoders may choose to simply ignore the corrupted packets, or attempt to decode their content. Video error correction is a viable alternative to deal with transmission errors when corrupted packets reach their destination. Until now, these approaches have received little considerations. This is mainly because the proposed methods either rely on specific coding tools or constraints, or require far too many computations compared to video error concealment techniques.

In this thesis, we propose a novel video error correction method based on maximum likelihood decoding. The method estimates the likeliest syntactically valid video slice content based on the erroneous video packets rather than discarding the content, and concealing the missing information. Such content is obtained by combining the likelihood of the candidate codewords with the bit modification likelihood associated to each candidate. We propose two solutions centered around our maximum likelihood decoding approach. First, we introduce a slice-level video error correction method. Furthermore, we show how to integrate the soft-output information shared by the channel decoder to evaluate the bit modification likelihood. We also show that it is possible to use our maximum likelihood decoding approach when soft-output information is not available. Then, we refine the solution at the syntax-element-level. The final solution we obtain can be used in real-time communication systems as it is computationally inexpensive compared to the slice-level solution, or the solutions proposed in the literature.

Our final solution is then applied to the correction of videos conforming to the H.264 Baseline profile. We selected three 720x480 sequences, five 704x576 sequences, and one 720x576 sequence to run simulations. Each sequence was coded at a target bitrate of 1 Mbps, 1.2 Mbps, and 1.5 Mbps. All 27 sequences were then submitted to a noisy channel with a bit error rate ranging from 10−5 to 10−3. Our 5400 observations show a PSNR improvement of 1.69 dB over the video error concealment method implemented in the H.264 reference software. Furthermore, our results also indicate a 0.42 dB PSNR improvement over state-of-the-art error concealment STBMA+PDE.

Titre traduit

La correction d'erreurs vidéo à l'aide du maximum de vraisemblance appliquée au standard vidéo H.264

Résumé traduit

La dissimulation d’erreurs est l’approche de facto pour gérer les erreurs de transmission. C’est d’autant plus vrai pour les applications temps réel, car les retransmissions posent problème au mantien des courts délais de livraison requis. Conséquemment, il apparaît que toutes les approches de dissimulation d’erreurs partagent l’hypothèse qu’une erreur de transmission se manifeste par l’absence de données. Or, cette hypothèse ne s’avère pas toujours vraie. La correction d’erreurs vidéo se veut donc une alternative viable à la dissimulation d’erreurs lorsque les paquets endommagés atteignent leur destination. Malheureusement, ces approches reçoivent peu d’attention.

Dans cette thèse, nous proposons une toute nouvelle approche pour corriger les erreurs de transmission à l’aide du maximum de vraisemblance. Notre méthode nécessite aucun outil de codage particulier, ni l’imposition de contraintes spécifiques. En combianant la vraisemblance des symboles valides potentiels à la vraisemblance des modifications proposées aux bits reçus, notre méthode sélectionne le contenu le plus probable transmis par l’encodeur. En premier lieu, une approche ciblant la totalité d’un paquet endommagé est proposée. De plus, nous montrons comment intégrer les probabilités des bits calculés par la couche physique afin d’obtenir une vraisemblance plus précise sur les modifications des bits. Par la suite, nous raffinons l’approche au niveau des éléments de la syntaxe. Cette deuxième approche réduit suffisamment la complexité pour permettre l’intégration de notre méthode à des applications en temps réel.

Par la suite, notre solution est appliquée au cas particulier du standard vidéo H.264. Nous nous concentrons sur le profile Baseline. Notre expérience porte sur trois séquences 720x480, cinq séquences 704x576 et une séquence 720x576. Chacune des séquences a d’abord été codée à trois reprises avec un débit cible de 1 Mbps, 1,2 Mbps et 1,5 Mbps. Par la suite, les 27 séquences obtenues ont été soumises à des erreurs de transmission. Le taux d’erreur des bits oscillait entre 10−5 et 10−3. Au total, nous avons observé 5400 cas différents. Nos résultats indiquent une amélioration moyenne de 1,69 dB en PSNR par rapport aux résultats obtenus avec la méthode utilisée dans le décodeur de référence. Plus encore, nous avons observé une amélioration moyenne de 0,42 dB en PSNR par rapport aux résultats obtenus avec la meilleure méthode de dissimulation d’erreur issue de l’état de l’art.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy". Bibliographie : pages 234-237.
Mots-clés libres:	Vidéo. Vidéo numérique Normes. Temps réel (Informatique) Baseline, canal, conjoint, correction, décodage, H.264, maximum, source, standard, vraisemblance, correction d’erreur vidéo, applications temps réel
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Coulombe, Stéphane
Programme:	Doctorat en génie > Génie
Date de dépôt:	18 nov. 2013 17:00
Dernière modification:	08 mars 2017 22:07
URI:	https://espace.etsmtl.ca/id/eprint/1219

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt