Efficient and effective objective image quality assessment metrics

Ziaei Nafchi, Hossein (2018). Efficient and effective objective image quality assessment metrics. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (7MB) | Prévisualisation
Prévisualisation	PDF Télécharger (755kB) | Prévisualisation

Résumé

Acquisition, transmission, and storage of images and videos have been largely increased in recent years. At the same time, there has been an increasing demand for high quality images and videos to provide satisfactory quality-of-experience for viewers. In this respect, high dynamic range (HDR) imaging with higher than 8-bit depth has been an interesting approach in order to capture more realistic images and videos. Objective image and video quality assessment plays a significant role in monitoring and enhancing the image and video quality in several applications such as image acquisition, image compression, multimedia streaming, image restoration, image enhancement and displaying. The main contributions of this work are to propose efficient features and similarity maps that can be used to design perceptually consistent image quality assessment tools. In this thesis, perceptually consistent full-reference image quality assessment (FR-IQA) metrics are proposed to assess the quality of natural, synthetic, photo-retouched and tone-mapped images. In addition, efficient no-reference image quality metrics are proposed to assess JPEG compressed and contrast distorted images. Finally, we propose a perceptually consistent color to gray conversion method, perform a subjective rating and evaluate existing color to gray assessment metrics.

Existing FR-IQA metrics may have the following limitations. First, their performance is not consistent for different distortions and datasets. Second, better performing metrics usually have high complexity. We propose in this thesis an efficient and reliable full-reference image quality evaluator based on new gradient and color similarities. We derive a general deviation pooling formulation and use it to compute a final quality score from the similarity maps. Extensive experimental results verify high accuracy and consistent performance of the proposed metric on natural, synthetic and photo retouched datasets as well as its low complexity.

In order to visualize HDR images on standard low dynamic range (LDR) displays, tone-mapping operators are used in order to convert HDR into LDR. Given different depth bits of HDR and LDR, traditional FR-IQA metrics are not able to assess the quality of tone-mapped images. The existing full-reference metric for tone-mapped images called TMQI converts both HDR and LDR to an intermediate color space and measure their similarity in the spatial domain. We propose in this thesis a feature similarity full-reference metric in which local phase of HDR is compared with the local phase of LDR. Phase is an important information of images and previous studies have shown that human visual system responds strongly to points in an image where the phase information is ordered. Experimental results on two available datasets show the very promising performance of the proposed metric.

No-reference image quality assessment (NR-IQA) metrics are of high interest because in the most present and emerging practical real-world applications, the reference signals are not available. In this thesis, we propose two perceptually consistent distortion-specific NR-IQA metrics for JPEG compressed and contrast distorted images. Based on edge statistics of JPEG compressed images, an efficient NR-IQA metric for blockiness artifact is proposed which is robust to block size and misalignment. Then, we consider the quality assessment of contrast distorted images which is a common distortion. Higher orders of Minkowski distance and power transformation are used to train a low complexity model that is able to assess contrast distortion with high accuracy. For the first time, the proposed model is used to classify the type of contrast distortions which is very useful additional information for image contrast enhancement.

Unlike its traditional use in the assessment of distortions, objective IQA can be used in other applications. Examples are the quality assessment of image fusion, color to gray image conversion, inpainting, background subtraction, etc. In the last part of this thesis, a real-time and perceptually consistent color to gray image conversion methodology is proposed. The proposed correlation-based method and state-of-the-art methods are compared by subjective and objective evaluation. Then, a conclusion is made on the choice of the objective quality assessment metric for the color to gray image conversion. The conducted subjective ratings can be used in the development process of quality assessment metrics for the color to gray image conversion and to test their performance.

Titre traduit

La modélisation basée sur la perception cohérente pour l'évaluation de la qualité d'image

Résumé traduit

L’acquisition, la transmission et le stockage d’images et de vidéos ont largement augmenté ces dernières années. En même temps, il y a eu une demande croissante pour produire des images et des vidéos de haute qualité afin d’offrir une expérience de qualité satisfaisante aux téléspectateurs. Dans ce contexte, l’imagerie à plage grande gamme dynamique (GGD) avec une profondeur supérieure à 8 bits constitue une approche intéressante permettant de capturer des images et des vidéos plus réalistes. L’évaluation objective de la qualité des images et des vidéos joue un rôle important dans la surveillance et l’amélioration de la qualité de l’image et de la vidéo dans plusieurs applications telles que l’acquisition et la compression d’images, la diffusion multimédia et la restauration d’image. Les principales contributions de ce travail sont la proposition des fonctionnalités efficaces et des cartes de similarité qui peuvent être utilisées pour concevoir des outils d’évaluation de la qualité perceptuelle de l’image. Dans cette thèse, des métriques d’évaluation de la qualité de l’image de référence complète basées sur la perception cohérente sont proposées pour évaluer la qualité des images naturelles, synthétiques, photo-retouchées et mappées. De plus, des métriques efficaces pour l’évaluation de la qualité d’image sans référence sont proposées et testées sur des images compressées JPEG et des images déformées par contraste. Enfin, nous proposons une méthode de conversion couleur / gris cohérente sur le plan perceptuel, effectuons une évaluation subjective et évaluons les mesures d’évaluation de conversion la couleur en gris.

Les métriques existantes peuvent présenter les limitations suivantes. Premièrement, leurs performances ne sont pas cohérentes en présence de différentes distorsions et testées sur un ensemble de données. Deuxièmement, les métriques les plus performantes ont généralement une grande complexité. Nous proposons dans cette thèse un évaluateur de qualité d’image de référence complet efficace et fiable basé sur de nouvelles similitudes de gradient et de couleur. Nous dérivons une formulation de regroupement d’écarts généraux et l’utilisons pour calculer un score de qualité final à partir des cartes de similarité. Des résultats expérimentaux approfondis vérifient la haute précision et la performance constante de la métrique proposée sur des jeux de données naturels, synthétiques et retouchés ainsi que sa faible complexité.

Afin de visualiser les images GGD sur des affichages FGD (faible gamme dynamique) standard, les opérateurs de conversion de tons sont utilisés pour convertir GGD en FGD. Étant donnés les différents bits de profondeur de GGD et FGD, les métriques traditionnelles ne sont pas en mesure d’évaluer la qualité des images mappées. La métrique de référence complete existante pour les images mappées par tons appelées TMQI convertit à la fois GGD et FGD en un espace colorimétrique intermédiaire et mesure leur similarité dans le domaine spatial. Nous proposons dans cette thèse une métrique de référence complète de similarité de caractéristiques dans laquelle la phase locale de GGD est comparée à la phase locale de FGD. La phase est une information importante des images et des études antérieures ont montré que le système visual humain répond fortement aux points dans une image où l’information de phase est ordonnée. Les résultats expérimentaux sur deux ensembles de données disponibles montrent les performances très prometteuses de la métrique proposée.

Les métriques d’évaluation de la qualité d’image sans référence présentent un grand intérêt car, dans les applications pratiques les plus courantes et les plus émergentes, les signaux de référence ne sont pas disponibles. Dans cette thèse, nous proposons deux métriques spécifiques à la distorsion et la perceptivement cohérentes, pour les images compressées JPEG et les images déformées par contraste. Sur la base des statistiques extraites à partir des images compressées JPEG, une métrique efficace pour l’artefact de blocage robuste à la taille et au désalignement des blocs est proposée. Ensuite, nous considérons l’évaluation de la qualité des images déformées par contraste qui est une distorsion commune. Des ordres plus élevés de distance et de transformation de puissance de Minkowski sont utilisés pour former un modèle de faible complexité capable d’évaluer la distorsion de contraste avec une grande précision. Pour la première fois, le modèle proposé est utilisé pour classer le type de distorsions de contraste qui est une information supplémentaire très utile pour l’amélioration du contraste de l’image.

Contrairement à son utilisation traditionnelle dans l’évaluation des distorsions, l’IQA objectif peut être utilisé dans d’autres applications. Les exemples sont l’évaluation de la qualité de la fusion d’image, la conversion d’image en couleur, la peinture d’intérieur, la soustraction d’arrière-plan, etc. Dans la dernière partie de cette thèse, une méthode de conversion d’image en niveaux de gris est proposée. La méthode corrélative proposée et les méthodes de pointe sont comparées par une évaluation subjective et objective. Ensuite, une conclusion est faite sur le choix de la métrique objective d’évaluation de la qualité pour la conversion de l’image couleur en niveaux de gris. Les évaluations subjectives effectuées peuvent être utilisées dans le processus de développement des métriques d’évaluation de la qualité pour la conversion de l’image couleur en niveaux de gris et pour tester leur performance.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Bibliographie : pages 115-126.
Mots-clés libres:	Imagerie (Technique) Qualité de l'image Évaluation. Traitement d'images Techniques numériques. Mesure du logiciel. Imagerie à grande gamme dynamique. JPEG (Norme de codage d'images) Perception des images. conversion, distorsion, métrique, qualité, perception visuelle, évaluation de la qualité d’image, référence complète, images synthétiques, grande gamme dynamique, opérateur de tonalité, sans référence, distorsion de contraste, distorsion JPEG, conversion de couleur en gris
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Doctorat en génie > Génie
Date de dépôt:	19 avr. 2018 20:09
Dernière modification:	19 avr. 2018 20:09
URI:	https://espace.etsmtl.ca/id/eprint/2037

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt