Subjective and objective quality assessment of ancient degraded documents

Shahkolaei, Atena (2019). Subjective and objective quality assessment of ancient degraded documents. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (9MB) | Prévisualisation
Prévisualisation	PDF Télécharger (755kB) | Prévisualisation

Résumé

Archiving, restoration and analysis of damaged manuscripts have been largely increased in recent decades. Usually, these documents are physically degraded because of aging and improper handing. They also cannot be processed manually because a massive volume of these documents exist in libraries and archives around the world. Therefore, automatic methodologies are needed to preserve and to process their content. These documents are usually processed through their images. Degraded document image processing is a difficult task mainly because of the existing physical degradations. While it can be very difficult to accurately locate and remove such distortions, analyzing the severity and type(s) of these distortions is feasible. This analysis provides useful information on the type and severity of degradations with a number of applications. The main contributions of this thesis are to propose models for objectively assessing the physical condition of document images and to classify their degradations. In this thesis, three datasets of degraded document images along with the subjective ratings for each image are developed. In addition, three no-reference document image quality assessment (NR-DIQA) metrics are proposed for historical and medieval document images. It should be mentioned that degraded medieval document images are a subset of the historical document images and may contain both graphical and textual content. Finally, we propose a degradation classification model in order to identify common distortion types in old document images.

Essentially, existing no reference image quality assessment (NR-IQA) metrics are not designed to assess physical document distortions. In the first contribution, we propose the first dataset of degraded document images along with the human opinion scores for each document image. This dataset is introduced to evaluate the quality of historical document images. We also propose an objective NR-DIQA metric based on the statistics of the mean subtracted contrast normalized (MSCN) coefficients computed from segmented layers of each document image. The segmentation into four layers of foreground and background is done based on an analysis of the log-Gabor filters. This segmentation is based on the assumption that the sensitivity of the human visual system (HVS) is different at the locations of text and non-text. Experimental results show that the proposed metric has comparable or better performance than the state-of-the-art metrics, while it has a moderate complexity.

Degradation identification and quality assessment can complement each other to provide information on both type and severity of degradations in document images. Therefore, we introduced, in the second contribution, a multi-distortion historical document image database that can be used for the research on quality assessment of degraded documents as well as degradation classification. The developed dataset contains historical document images which are classified into four categories based on their distortion types, namely, paper translucency, stain, readers’ annotations, and worn holes. An efficient NR-DIQA metric is then proposed based on three sets of spatial and frequency image features extracted from two layers of text and non-text. In addition, these features are used to estimate the probability of the four aforementioned physical distortions for the first time in the literature. Both proposed quality assessment and degradation classification models deliver a very promising performance.

Finally, we develop in the third contribution a dataset and a quality assessment metric for degraded medieval document (DMD) images. This type of degraded images contains both textual and pictorial information. The introduced DMD dataset is the first dataset in its category that also provides human ratings. Also, we propose a new no-reference metric in order to evaluate the quality of DMD images in the developed dataset. The proposed metric is based on the extraction of several statistical features from three layers of text, non-text, and graphics. The segmentation is based on color saliency with assumption that pictorial parts are colorful. It also follows HVS that gives different weights to each layer. The experimental results validate the effectiveness of the proposed NR-DIQA strategy for DMD images.

Titre traduit

Évaluation subjective et objective de la qualité de documents anciens dégradés

Résumé traduit

L’archivage, la restauration et l’analyse d’anciens manuscrits ont considérablement augmenté au cours des dernières décennies. Habituellement, ces documents sont physiquement dégradés à cause du vieillissement et d’une manipulation incorrecte. Ils ne peuvent pas non plus être traités manuellement car un grand nombre de ces documents existent dans les bibliothèques et les archives du monde entier. Par conséquent, des méthodologies automatiques sont nécessaires pour préserver et traiter leur contenu. Ces documents sont généralement traités à travers leurs images. Le traitement des images de documents dégradés est une tâche difficile, principalement en raison des dégradations physiques existantes. Bien qu’il puisse être très difficile de localiser et d’éliminer avec précision ces distorsions, il est possible d’analyser la gravité et le type de ces distorsions. Cette analyse fournit des informations utiles sur le type et la gravité des dégradations dans un certain nombre d’applications. Les principales contributions de cette thèse sont de proposer des modèles d’évaluation objective de la condition physique des images de documents et de classer leurs dégradations. Dans cette thèse, trois ensembles de données d’images de documents dégradés ainsi que les évaluations subjectives de chaque image sont développés. En outre, trois mesures d’évaluation de la qualité d’image des documents sans référence (NR-DIQA) sont proposées. Enfin, nous proposons un modèle de classification de dégradation afin d’identifier les types de distorsion courants dans les anciennes images de document.

Essentiellement, les métriques d’évaluation de qualité d’image sans référence (NR-IQA) existantes ne sont pas conçues pour évaluer les distorsions physiques des documents. Dans la première contribution, nous proposons le premier ensemble de données d’images de documents dégradés ainsi que les scores d’opinion humaine pour chaque image de document. Cet ensemble de données est introduit pour évaluer la qualité des images de documents historiques. Nous proposons également une métrique objective NR-DIQA basée sur les statistiques des coefficients de moyenne normalisée avec contraste soustrait (MSCN) calculés à partir des couches segmentées de chaque image de document. La segmentation en quatre couches d’avant-plan et d’arrière-plan est réalisée à partir d’une analyse des filtres de log-Gabor. Cette segmentation est basée sur l’hypothèse que la sensibilité du système visuel humain (HVS) est différente aux emplacements texte et non texte. Les résultats expérimentaux montrent que la métrique proposée a des performances comparables ou meilleures que les métriques de pointe, alors qu’elle a une complexité modérée.

L’identification de la dégradation et l’évaluation de la qualité peuvent se compléter pour fournir des informations sur le type et la gravité des dégradations dans les images de document. Par conséquent, nous avons présenté dans la deuxième contribution une base de données d’images de documents historiques multi-distorsions pouvant être utilisée pour la recherche sur l’évaluation de la qualité des documents dégradés ainsi que sur la classification de la dégradation. Le jeu de données développé contient des images de documents historiques classées en quatre catégories en fonction de leur type de distorsion, à savoir la translucidité du papier, la teinture, les annotations du lecteur et les trous usés. Une métrique NR-DIQA efficace est ensuite proposée sur la base de trois ensembles d’entités d’images spatiales et fréquentielles extraites de deux couches de texte et de non-texte. En outre, ces caractéristiques sont utilisées pour estimer la probabilité des quatre distorsions physiques susmentionnées pour la première fois dans la littérature. Les modèles proposés d’évaluation de la qualité et de classification de la dégradation offrent des performances très prometteuses.

Enfin, nous développons dans la troisième contribution un ensemble de données et une mesure d’évaluation de la qualité pour les images de documents graphiques dégradés (DMD). Ce type d’images dégradées contient des informations textuelles et picturales. Le jeu de données DMD introduit est le premier jeu de données de sa catégorie qui fournit également des évaluations humaines. Nous proposons également une nouvelle métrique sans référence afin d’évaluer la qualité des images DMD dans l’ensemble de données développé. La métrique proposée est basée sur l’extraction de plusieurs entités statistiques à partir de trois couches de texte, non textuelles et graphiques. La segmentation est basée sur la saillance des couleurs en supposant que les parties illustrées sont colorées. Il suit également le HVS qui attribue des poids différents à chaque couche. Les résultats expérimentaux valident l’efficacité de la stratégie proposée NRDIQA pour les images DMD.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 121-130).
Mots-clés libres:	perception de la vision humaine, évaluation de la qualité d’image, pas de référence, note moyenne d’opinion, contraste moyen soustrait normalisé, phase locale, approche de saillance, classification de la dégradation, machine à vecteurs de support, documents médiévaux dégradés
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Doctorat en génie > Génie
Date de dépôt:	16 janv. 2020 21:52
Dernière modification:	16 janv. 2020 21:52
URI:	https://espace.etsmtl.ca/id/eprint/2436

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt