Visual image processing in various representation spaces for documentary heritage preservation

Hedjam, Rachid (2013). Visual image processing in various representation spaces for documentary heritage preservation. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (10MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

This thesis establishes an advanced image processing framework for the enhancement and restoration of historical document images (HDI) in both intensity (gray-scale or color) and multispectral (MS) representation spaces. It provides three major contributions: 1) the binarization of gray-scale HDI; 2) the visual quality restoration of MS HDI; and 3) automatic reference data (RD) estimation for HDI binarization. HDI binarization is one of the enhancement techniques that produces bi-level information which is easy to handle using methods of analysis (OCR, for instance) and is less computationally costly to process than 256 levels of grey or color images. Restoring the visual quality of HDI in an MS representation space enhances their legibility, which is not possible with conventional intensity-based restoration methods, and HDI legibility is the main concern of historians and librarians wishing to transfer knowledge and revive ancient cultural heritage. The use of MS imaging systems is a new and attractive research trend in the field of numerical processing of cultural heritage documents. In this thesis, these systems are also used for automatically estimating more accurate RD to be used for the evaluation of HDI binarization algorithms in order to track the level of human performance.

Our first contribution, which is a new adaptive method of intensity-based binarization, is defined at the outset. Since degradation is present over document images, binarization methods must be adapted to handle degradation phenomena locally. Unfortunately, these methods are not effective, as they are not able to capture weak text strokes, which results in a deterioration of the performance of character recognition engines. The proposed approach first detects a subset of the most probable text pixels, which are used to locally estimate the parameters of the two classes of pixels (text and background), and then performs a simple maximum likelihood (ML) to locally classify the remaining pixels based on their class membership. To the best of our knowledge, this is the first time local parameter estimation and classification in an ML framework has been introduced for HDI binarization with promising results. A limitation of this method in the case with as the intensity-based methods of enhancement is that they are not effective in dealing with severely degraded HDI. Developing more advanced methods based on MS information would be a promising alternative avenue of research.

In the second contribution, a novel approach to the visual restoration of HDI is defined. The approach is aimed at providing end users (historians, librarians, etc..) with better HDI visualization, specifically; it aims to restore them from degradations, while keeping the original appearance of the HDI intact. Practically, this problem cannot be solved by conventional intensity-based restoration methods. To cope with these limitations, MS imaging is used to produce additional spectral images in the invisible light (infrared and ultraviolet) range, which gives greater contrast to objects in the documents. The inpainting-based variational framework proposed here for HDI restoration involves isolating the degradation phenomena in the infrared spectral images, and then inpainting them in the visible spectral images. The final color image to visualize is therefore reconstructed from the restored visible spectral images. To the best of our knowledge, this is the first time the inpainting technique has been introduced for MS HDI. The experimental results are promising, and our objective, in collaboration with the BAnQ (Bibliothèque et Archives nationales de Québec), is to push heritage documents into the public domain and build an intelligent engine for accessing them. It is useful to note that the proposed model can be extended to other MS-based image processing tasks.

Our third contribution is presented, which is to consider a new problem of RD (reference data) estimation, in order to show the importance of working with MS images rather than gray-scale or color images. RDs are mandatory for comparing different binarization algorithms, and they are usually generated by an expert. However, an expert’s RD is always subject to mislabeling and judgment errors, especially in the case of degraded data in restricted representation spaces (gray-scale or color images). In the proposed method, multiple RD generated by several experts are used in combination with MS HDI to estimate new, more accurate RD. The idea is to include the agreement of experts about labels and the multivariate data fidelity in a single Bayesian classification framework to estimate the a posteriori probability of new labels forming the final estimated RD. Our experiments show that estimated RD are more accurate than an expert’s RD. To the best of our knowledge, no similar work to combine binary data and multivariate data for the estimation of RD has been conducted.

Titre traduit

Traitement visuel d'images dans différents espaces de représentation pour la préservation du patrimoine documentaire

Résumé traduit

Cette thèse établit un cadre de travail de traitement d’images pour le rehaussement et la restauration des images de documents historiques (IDH) dans deux espaces de représentations différents : l’espace des niveaux de gris et de couleur et l’espace multispectral (MS). Elle consiste en trois contributions majeures: 1) la binarisation d’IDH en niveaux de gris ou en couleur, 2) la restauration des IDH capturées au moyen de l’imagerie MS, et 3) l’estimation de données de référence (DR) utilisées à des fins d’évaluation des algorithmes de binarisation d’IDH. La binarisation d’IDH est l’une des techniques de rehaussement qui produit des informations binaires faciles à manipuler par des méthodes d’analyse de haut niveau (OCR, par exemple), et moins coûteuse en termes de calcul par rapport aux images couleurs ou en niveaux de gris. La restauration des IDH dans un espace de représentation MS améliore leur lisibilité, ce qui n’est pas possible avec les méthodes classiques de restauration basées sur l’intensité ou la couleur. La lisibilité des IDH est la principale préoccupation des historiens et bibliothécaires qui souhaitent toujours transférer les connaissances et faire revivre l’ancien patrimoine culturel et scientifique. L’utilisation des systèmes d’imagerie MS est une piste de recherche à la fois nouvelle et attrayante dans le domaine du traitement numérique d’IDH. Dans cette thèse, ces systèmes sont également utilisés pour estimer automatiquement des DR plus précises à utiliser pour l’évaluation d’algorithmes de binarisation d’IDH afin de poursuivre le niveau de performance humaine.

Notre première contribution est une nouvelle méthode de binarisation adaptative destinée aux IDH en niveaux de gris et couleurs. Puisque la dégradation est présente un peu partout sur la surface des IDH, les méthodes de binarisation doivent être adaptées pour gérer localement ces phénomènes de dégradation. Malheureusement, ces méthodes ne sont pas efficaces, car elles ne sont pas en mesure de capturer les traits de texte de faible intensité, ce qui entraîne une détérioration de la performance des moteurs de reconnaissance de caractères (OCR). L’approche proposée détecte en premier lieu un sous-ensemble de pixels de texte les plus probables, qui sont utilisés pour estimer les paramètres locaux des deux classes (texte et fond), puis effectue une classification à base de maximum de vraisemblance (MV) afin de classifier localement les pixels restants en fonction de leur appartenance aux classes. Au meilleur de notre connaissance, c’est la première fois que l’estimation des paramètres et la classification locale dans un cadre de MV a été introduite pour la binarisation d’IDH avec des résultats prometteurs. Une limitation de cette méthode, comme pour toutes les méthodes de ehaussement basées sur l’intensité, est qu’elles ne sont pas efficaces dans le traitement d’IDH gravement dégradées. Développer des méthodes plus avancées fondées sur les informations MS serait une alternative prometteuse de la recherche.

Dans la deuxième contribution, une nouvelle approche pour la restauration visuelle d’IDH est définie. L’approche vise à fournir une meilleure qualité visuelle des IDH à l’utilisateur final (historien, bibliothécaire, etc.). Plus précisément, elle vise à les restaurer à partir des dégradations, tout en conservant intact leur aspect original. En pratique, ce problème ne peut pas être résolu facilement par les méthodes classiques de restauration basées sur l’intensité. Pour faire face à ces limitations, l’imagerie MS est utilisée pour produire d’autres images spectrales dans la lumière invisible (infrarouge et ultraviolet), ce qui donne un meilleur contraste au contenu des IDH. Le cadre de travail variationnel de ’inpainting’ proposé ici pour la restauration d’IDH consiste à isoler les dégradations dans les images spectrales infrarouges, puis les retoucher (’inpainting’) dans les images spectrales visibles. L’image couleur finale à visualiser est donc reconstruite à partir des images spectrales visibles restaurées. Au meilleur de notre connaissance, c’est la première fois que la technique de ’inpainting’ a été mise en place pour la restauration d’IDH ultispectrales. Les résultats expérimentaux sont prometteurs, et notre objectif, en collaboration avec la BAnQ (Bibliothèque et Archives nationales du Québec), est de rendre disponible les documents du patrimoine dans le domaine public et de construire un moteur intelligent pour y accéder. Il est utile de noter que le modèle proposé peut être étendu à d’autres applications basées sur les images MS.

Notre troisième contribution, qui consiste à considérer un nouveau problème d’estimation de DR, est présentée afin de montrer l’importance de travailler avec des images MS plutôt que des images en niveaux de gris ou en couleur. Les DR sont nécessaires pour comparer différents algorithmes de binarisation, et ils sont habituellement générés par un expert. Cependant, les DR d’un expert sont toujours sujettes à des erreurs d’étiquetage et de jugement, en particulier dans le cas des données dégradées traitées dans des espaces de représentation restreints (images en niveaux de gris ou couleur). Dans la méthode proposée, plusieurs RD générées par plusieurs experts sont utilisées en combinaison avec l’image de document MS pour estimer une nouvelle RD plus précise. L’idée est d’inclure la fidélité de données multivariée et le degré de consensus des experts à propos des étiquettes dans un cadre unique de classification Bayésien pour estimer la probabilité a posteriori des nouvelles étiquettes formant la RD finale à estimer. Nos expériences montrent que les RD estimées sont plus précises que celles générées individuellement par l’expert. Au meilleur de notre connaissance, aucun travail similaire, combinant les RD générées par un expert et les données MS, a été effectuée pour l’estimation des RD.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy" Bibliogr. : p. [133]-146.
Mots-clés libres:	Traitement d'images. Reconstruction d'image. Analyse d'images. Documentation. Documentation de bibliothèque Conservation et restauration. Patrimoine historique. binarisation, document, donnée, estimation, historique, image, multispectral, référence, Binarisation d’images de documents historiques
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Doctorat en génie > Génie
Date de dépôt:	30 juill. 2013 16:06
Dernière modification:	23 juill. 2020 17:36
URI:	https://espace.etsmtl.ca/id/eprint/1186

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt