Sparse and low-rank techniques for the efficient restoration of images

Zhang, Mingli (2017). Sparse and low-rank techniques for the efficient restoration of images. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (16MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

Image reconstruction is a key problem in numerous applications of computer vision and medical imaging. By removing noise and artifacts from corrupted images, or by enhancing the quality of low-resolution images, reconstruction methods are essential to provide high-quality images for these applications. Over the years, extensive research efforts have been invested toward the development of accurate and efficient approaches for this problem.

Recently, considerable improvements have been achieved by exploiting the principles of sparse representation and nonlocal self-similarity. However, techniques based on these principles often suffer from important limitations that impede their use in high-quality and large-scale applications. Thus, sparse representation approaches consider local patches during reconstruction, but ignore the global structure of the image. Likewise, because they average over groups of similar patches, nonlocal self-similarity methods tend to over-smooth images. Such methods can also be computationally expensive, requiring a hour or more to reconstruct a single image. Furthermore, existing reconstruction approaches consider either local patch-based regularization or global structure regularization, due to the complexity of combining both regularization strategies in a single model. Yet, such combined model could improve upon existing techniques by removing noise or reconstruction artifacts, while preserving both local details and global structure in the image. Similarly, current approaches rarely consider external information during the reconstruction process. When the structure to reconstruct is known, external information like statistical atlases or geometrical priors could also improve performance by guiding the reconstruction.

This thesis addresses limitations of the prior art through three distinct contributions. The first contribution investigates the histogram of image gradients as a powerful prior for image reconstruction. Due to the trade-off between noise removal and smoothing, image reconstruction techniques based on global or local regularization often over-smooth the image, leading to the loss of edges and textures. To alleviate this problem, we propose a novel prior for preserving the distribution of image gradients modeled as a histogram. This prior is combined with low-rank patch regularization in a single efficient model, which is then shown to improve reconstruction accuracy for the problems of denoising and deblurring.

The second contribution explores the joint modeling of local and global structure regularization for image restoration. Toward this goal, groups of similar patches are reconstructed simultaneously using an adaptive regularization technique based on the weighted nuclear norm. An innovative strategy, which decomposes the image into a smooth component and a sparse residual, is proposed to preserve global image structure. This strategy is shown to better exploit the property of structure sparsity than standard techniques like total variation. The proposed model is evaluated on the problems of completion and super-resolution, outperforming state-of-the-art approaches for these tasks.

Lastly, the third contribution of this thesis proposes an atlas-based prior for the efficient reconstruction of MR data. Although popular, image priors based on total variation and nonlocal patch similarity often over-smooth edges and textures in the image due to the uniform regularization of gradients. Unlike natural images, the spatial characteristics of medical images are often restricted by the target anatomical structure and imaging modality. Based on this principle, we propose a novel MRI reconstruction method that leverages external information in the form of an probabilistic atlas. This atlas controls the level of gradient regularization at each image location, via a weighted total-variation prior. The proposed method also exploits the redundancy of nonlocal similar patches through a sparse representation model. Experiments on a large scale dataset of T1-weighted images show this method to be highly competitive with the state-of-the-art.

Résumé traduit

La reconstruction d’images est un problème clé dans de nombreuses applications de la vision par ordinateur et l’imagerie médicale. En supprimant le bruit et les artefacts d’images corrompues, ou en améliorant la qualité des images à basse résolution, les méthodes de reconstruction permettent de fournir des images de haute qualité pour ces applications. Au fil des ans, d’importants efforts de recherche ont été investis dans le développement d’approches précises et efficaces pour ce problème.

Récemment, des améliorations considérables ont été réalisées en exploitant les principes de la représentation éparse et de l’auto-similarité non locale. Cependant, les techniques basées sur ces principes souffrent souvent de limitations importantes qui entravent leur utilisation dans des applications de grande qualité et à grande échelle. Ainsi, les approches par representation éparse considèrent les parcelles locales de pixels pendant la reconstruction, mais ignorent la structure globale de l’image. De même, en combinant des groupes de parcelles similaires, les méthodes d’auto-similarité non locales ont tendance à sur-lisser les images. De telles methods peuvent également être coûteuses en termes de calcul, nécessitant une heure ou plus pour reconstruire une seule image. En outre, les approches de reconstruction existantes envisagent soit la régularisation locale basée sur les parcelles ou la régularisation de la structure globale, en raison de la complexité de combiner ces deux stratégies de régularisation dans un seul modèle. Pourtant, un tel modèle combiné pourrait améliorer les techniques existantes en supprimant les artefacts de bruit ou de reconstruction, tout en préservant les détails locaux et la structure globale de l’image. De même, les approches actuelles emploient rarement des informations externes pendant le processus de reconstruction. Lorsque la structure à reconstruire est connue, les informations externes, comme les atlas statistiques ou les a priori géométriques, pourraient améliorer les performances en guidant la reconstruction.

Cette thèse traite les limites des approches existantes à travers trois contributions distinctes. La première contribution étudie l’histogramme des gradients d’image comme un puissant a priori pour la reconstruction. En raison du compromis entre l’élimination du bruit et le lissage, les techniques de reconstruction d’image basées sur la régularisation globale ou locale ont tendance à sur-lisser l’image, ce qui entraîne la perte de contours et de textures. Dans le but d’atténuer ce problème, nous proposons un novel a priori pour conserver la distribution de gradients de l’image, modélisée à l’aide d’un histogramme. Cet a priori est combiné avec la régularisation faible-rang de parcelles dans un seul modèle efficace, ce qui permet d’améliorer la précision de la reconstruction dans les problèmes de débruitage et de déflouage.

La deuxième contribution explore la régularisation de la structure locale et globale dans les problèmes de restauration d’image. Dans ce but, des groupes de parcelles similaires sont reconstruits simultanément en utilisant une technique de régularisation adaptative basée sur la norme nucléaire pondérée. Une stratégie innovante, qui décompose l’image en un composant homogène et un résidu éparse, est proposée pour préserver la structure globale de l’image. Cette stratégie exploite mieux la propriété éparse de la structure que les techniques standard comme la variation totale. Le modèle proposé est évalué sur les problèmes de complétion et de super-résolution, surpassant les approches de pointe pour ces tâches.

Enfin, la troisième contribution de cette thèse propose un a priori basé sur les atlas pour la reconstruction efficace des données IRM. Bien que populaire, les apriori d’image basés sur la variation totale et la similitude de parcelles non locales sur-lissent souvent les countours et les textures de l’image en raison de la régularisation uniforme des gradients. Contrairement aux images naturelles, les caractéristiques spatiales des images médicales sont souvent limitées par la structure anatomique ciblée et la modalité d’imagerie employée. Sur la base de ce principe, nous proposons une nouvelle méthode de reconstruction IRM qui tire parti des informations externes sous la forme d’un atlas probabiliste. Cet atlas contrôle le niveau de regularization des gradients à chaque emplacement de l’image, par un a priori utilisant la variation totale pondérée. La méthode proposée exploite également la redondance de parcelles non locales au moyen d’un modèle de représentation éparse. Des expériences sur un large ensemble d’images T1 montrent que cette méthode est très concurrentielle avec l’état de l’art.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Bibliographie : pages 117-139.
Mots-clés libres:	Reconstruction d'image. Imagerie (Technique) Qualité de l'image. Ajustement (Statistique) Imagerie par résonance magnétique. Imagerie médicale Qualité de l'image. auto, bas, épars, gradient, histogramme, niveau, non, norme, nucléaire, pondéré, représentation, similarité, approche de bas niveau, sparsité structurée, préservation de l’histogramme, minimisation de la norme nucléaire pondérée, variation totale pondérée, ADMM
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Desrosiers, Christian
Programme:	Doctorat en génie > Génie
Date de dépôt:	17 janv. 2018 21:13
Dernière modification:	17 janv. 2018 21:13
URI:	https://espace.etsmtl.ca/id/eprint/1989

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt