Deterministic and Bayesian orthogonal nonnegative matrix factorization: application to blind decomposition of multispectral document images

Rahiche, Abderrahmane (2022). Deterministic and Bayesian orthogonal nonnegative matrix factorization: application to blind decomposition of multispectral document images. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (8MB) | Prévisualisation

Résumé

This thesis addresses the problem of blind decomposition of spectral document images into layers of their constituent materials (e.g., inks, paper, pigments). The aim is to develop advanced processing tools that enable the effective use of spectral imaging technologies for document analysis and simplify their processing.

Since spectral imaging provides more information on several acquisition wavelengths, for such images, observations of document scenes are considered as a mixture of some latent signals of their constituent objects, where neither the mixing operator nor the mixed sources are known. Therefore, we resort to Blind Source Separation (BSS) techniques to estimate these two unknown operators. Specifically, we consider nonnegative matrix factorization (NMF), one of the powerful techniques for the analysis of high-dimensional data. NMF provides a lower-rank approximation of the data that is easier to interpret. The problem is then inverted, and NMF seeks to estimate the two unknown factors based only on a set of observations. Formally, this problem turns into an algebraic operation of the form X ≈ MA, where X represents the observations reshaped into an m × n matrix, M is an m × k matrix of sources, and A is a k × n matrix of coefficients.

This problem is far from being a simple image segmentation task. Indeed, many challenges owing to the high-dimensionality of data, lack of labeled samples, and other ambiguities related to BSS methods should be considered to handle this problem appropriately. Hence, to tackle the aforementioned challenges, this thesis investigates the orthogonal constraint over the Stiefel manifold as a key feature for NMF. Consequently, this study proposes new orthogonal NMF (ONMF) models ranging from deterministic to probabilistic settings. We first proposed a new ONMF formulation over the Stiefel manifold. Therefore, according to which factor matrix is constrained to be orthogonal, we developed three new ONMF models. Then, to account for the non-linearity inherent in the feature space of spectral data and the intrinsic geometrical structure lost by the vectorization required by NMF, we proposed a new non-linear ONMF model with a graph-based total variation regularization. The new model is immune against the pre-image issue and preserves the structure of the data. Finally, we reformulated the problem from a Bayesian perspective to address limitations of deterministic frameworks, such as model parameters uncertainty and model order selection. The performance of the proposed algorithms has been evaluated on synthetic and real-world datasets. The results demonstrate their efficiency in handling unsupervised separation of components in spectral document images.

The contribution and impact of this research work are two folds. On the one hand, it provides several practical algorithms to handle spectral document images decomposition based on orthogonal NMF. On the other hand, it promotes the benefit of spectral imaging technologies for analyzing documents through concrete use-cases ranging from inks differentiation to materials separation based on their optical properties only.

The developed framework opens the doors toward new applications that could not be handled using traditional document images processing approaches. Some of the potential applications include writing materials identification and differentiation, forgery detection, and content change detection, to name a few. Ultimately, this will enable extensive and efficient use of spectral technology in the field of document image analysis.

Titre traduit

Méthodes déterministes et Bayésiennes de factorisation orthogonale de matrices non-négatives : application à la décomposition aveugle des images multispectrales de documents

Résumé traduit

Cette thèse s’intéresse au problème de la décomposition aveugle des images spectrales de documents en couches de leurs matériaux constitutifs (encres, papier, pigments, etc.). L’objectif est de développer des outils de traitement avancés permettant d’utiliser efficacement les technologies d’imagerie spectrale pour l’analyse de documents et de simplifier leur traitement.

Comme les imageurs spectraux fournissent plus d’informations sur plusieurs longueurs d’onde d’acquisition, pour ces images, les observations des scènes de documents sont considérées comme des mélanges de certains signaux latents de leurs objets constitutifs, où ni l’opérateur de mélange ni les sources mélangées sont connus. Par conséquent, nous faisons appel aux techniques de séparation des sources (BSS) pour estimer ces deux opérateurs inconnus. Plus précisément, nous considérons la factorisation matricielle non négative (NMF), l’une des puissantes techniques BSS. Le problème est alors inversé, en se basant uniquement sur un ensemble d’observations, la NMF vise à identifier les deux opérateurs inconnus. Ce processus se transforme alors en une opération algébrique de la forme X ≈ MA, où X représente les observations organisées en une matrice m × n de données, M est une matrice m × k de sources et A est une matrice k × n de coefficients.

La séparation aveugle des images spectrales est loin d’être une tâche simple de segmentation d’images. De nombreux défis dus à la haute dimensionnalité des données, au manque d’échantillons étiquetés et à d’autres ambiguïtés liées aux méthodes BSS, doivent être pris en compte pour traiter ce problème de manière appropriée. Pour relever ces défis, ce travail étudie la contrainte d’orthogonalité sur la variété Stiefel (Stiefel manifold) comme une caractéristique clé pour la NMF. Par conséquent, cette étude propose de nouveaux modèles NMF orthogonaux (ONMF), allant des approches déterministes aux modèles Bayésiens. Nous avons d’abord proposé une nouvelle formulation ONMF sur la variété Stiefel. Ainsi, en fonction de la matrice de facteurs qui doit être orthogonale, nous avons développé trois nouveaux modèles ONMF. Ensuite, pour tenir compte de la non-linéarité inhérente à l’espace des caractéristiques des données spectrales et la structure géométrique intrinsèque ignoreé par la vectorisation requise par NMF, nous avons proposé un nouveau modèle non linéaire avec une régularisation de la variation totale du graphe des données. Ce nouveau modèle est immunisé contre le problème de la pré-image et préserve la structure des données. Enfin, nous avons reformulé le problème d’un point de vue Bayésien afin d’aborder les limites des approches déterministes telles que l’incertitude des paramètres du modèle et la sélection de l’ordre du modèle. L’efficacité et les performances des algorithmes proposés ont été évaluées sur des ensembles de données synthétiques et réelles. Les résultats démontrent leur efficacité à traiter la séparation non supervisée des composantes dans les images spectrales de documents.

La contribution et l’impact de ce travail de recherche sont doubles. D’une part, il contribue plusieurs algorithmes pratiques pour la décomposition aveugle des images spectrales de documents basés sur la NMF orthogonale. D’autre part, il met en lumière les avantages des technologies d’imagerie spectrale pour l’analyse de documents à travers des cas d’utilisation concrets allant de la différenciation des encres à la séparation des matériaux en se basant seulement sur leurs propriétés optiques.

Le cadre de travail développé ouvre la porte à de nouvelles applications qui n’ont pas pu être ciblées par des approches classiques. L’identification et la différenciation des matériaux d’écriture, la détection des fraudes et des modifications de contenu sont les applications potentielles, pour n’en citer que quelques-unes. Ultimement, cela permettra une utilisation étendue et efficace de la technologie spectrale dans le domaine de l’analyse des images de documents.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 161-173).
Mots-clés libres:	documents historiques, décomposition aveugle des images, séparation aveugle de sources, images multispectrales, factorisation matricielle non-négative, variété Stiefel, modèles graphiques Bayesiens, variation totale
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Doctorat en génie > Génie
Date de dépôt:	02 juin 2025 18:34
Dernière modification:	02 juin 2025 18:34
URI:	https://espace.etsmtl.ca/id/eprint/3631

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt