Domain adaptation with missing data for medical image segmentation

Bateson, Mathilde (2023). Domain adaptation with missing data for medical image segmentation. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (15MB) | Prévisualisation

Résumé

Domain Adaption (DA) methods have recently attracted substantial attention in computer vision as they improve the transferability of deep network models from a source to a target domain with different characteristics. DA is key in mitigating the need for laborious pixel annotations required by deep segmentation models.

However, the framework of most common DA methods is not realistic, as it requires access to whole datasets, both in the source and in the target domain. Yet in clinical settings, only a few or even a single target sample(s) are typically available, while the source data might be inaccessible. Therefore, this thesis main objective is to propose domain adaptation algorithms to segment medical images with limited training datasets.

In our first objective, we explore adapting segmentation networks with inequality constraints on the network predictions of target samples. Thereby, we implicitly match the prediction statistics of the target and source domains, with permitted uncertainty of prior knowledge. We address the ensuing constrained optimization problem with differentiable penalties, fully suited for conventional stochastic gradient descent approaches.

In our second objective, we introduce source-free domain adaptation for image segmentation. Our formulation is based on minimizing a label-free entropy loss defined over target-domain data, which we further guide with a domain-invariant class-ratio prior on the segmentation regions. The prior is estimated from anatomical knowledge and integrated in the form of a Kullback–Leibler divergence in our overall loss function. We show the effectiveness of our prior-aware entropy minimization in various source-free domain adaptation scenarios, with different modalities and applications, including spine, prostate and cardiac segmentation.

In our third objective, we study a source-free adaptation method for use at test-time with a single target subject. We investigate shape-guided entropy minimization objectives. We explore the potential of integrating various constraints in the form of shape moments, to guide domain adaptation towards plausible solutions. In particular, we exploit the size, centroid, and distance-to-centroid of anatomical structures through penalty constraints in our overall loss function. In our applications, an estimation of these shape moments is derived from textbook anatomical knowledge. Our method is validated in two challenging source-free single-subject adaptation tasks: MRI-to-CT adaptation for cardiac images, and cross-site adaptation for prostate images. The efficiency of 2D and 3D shape constraints are demonstrated in both applications. In conclusion, each objective progressively pushes further the complexity of the adaptation task and the amount of missing data, to achieve a realistic clinical setting. The proposed methods address this challenge by studying how to best leverage domain knowledge such as anatomical shape knowledge.

This thesis led to six different publications as first author, including three at MICCAI conferences, two journal publications, one in IEEE Transactions for Medical Imaging and one in Medical Image Analysis (MedIA), and one ongoing submission to MedIA. All the codes ensuing from this thesis are publicly available, and free to reuse and modify. The functional programming style used makes it easy to integrate new loss functions and shape information, with little-to-no additional coding efforts.

Titre traduit

Adaptation au domaine avec données manquantes pour la segmentation d’images médicales

Résumé traduit

Les méthodes d’adaptation au domaine (DA) ont récemment attiré l’attention dans le contexte de la vision par ordinateur, car elles améliorent la transférabilité des modèles de réseaux profonds d’un domaine source à un domaine cible présentant des caractéristiques différentes. Le DA est essentiel pour atténuer le besoin d’annotations laborieuses requises par les modèles de segmentation profonde. Cependant, le cadre usuel des méthodes de DA n’est pas réaliste, car il nécessite l’accès à plusieurs ensembles de données, à la fois dans le domaine source et dans le domaine cible. Or, en milieu clinique, seuls quelques échantillons cibles, voire un seul, sont généralement disponibles, tandis que les données sources peuvent être inaccessibles. Par conséquent, l’objectif principal de cette thèse est de proposer des algorithmes de DA pour segmenter des images médicales avec des jeux de données d’entraînement limités.

Dans notre premier objectif, nous explorons le DA des réseaux de segmentation avec des annotations minimales dans le domaine cible. Nous abordons le DA par la segmentation sous des contraintes d’inégalité sur les prédictions des échantillons cibles non annotés ou faiblement annotés. Ainsi, nous faisons correspondre implicitement les statistiques de prédiction des domaines cible et source, avec une incertitude autorisée des connaissances préalables. Nous abordons le problème d’optimisation sous contrainte qui en découle avec des pénalités différentiables, parfaitement adaptées aux approches conventionnelles de descente de gradient stochastique.

Dans notre deuxième objectif, nous introduisons le DA sans source pour la segmentation d’images. Notre formulation est basée sur la minimisation d’une fonction d’entropie définie sur les données du domaine cible, que nous guidons en outre avec un a priori sur les régions de segmentation. Un a priori de ratio de classe est estimé à partir des connaissances anatomiques et intégré sous la forme d’une divergence de Kullback-Leibler dans notre fonction de coût globale. Nous montrons l’efficacité de notre méthode dans une variété de scénarios de DA, avec différentes modalités et applications, notamment la segmentation de la colonne vertébrale, de la prostate et du coeur.

Dans notre troisième objectif, nous étudions une méthode de DA sans source à utiliser au moment du test avec un seul sujet cible. Nous étudions un objectif de minimisation de l’entropie guidé par des a-priori de formes pour adapter la segmentation au moment du test. Nous explorons le potentiel de l’intégration de diverses contraintes sous la forme de moments de forme, pour guider le DA vers des solutions plausibles. En particulier, nous exploitons la taille, le centroïde et la distance au centroïde des structures anatomiques par le biais de contraintes de pénalité dans notre fonction de perte globale. Notre méthode est validée dans deux tâches de segmentation difficiles : L’adaptation IRM-CT pour des images cardiaques et l’adaptation inter-sites pour des images de la prostate.

En conclusion, chaque objectif pousse progressivement plus loin la complexité de la tâche d’adaptation et la quantité de données manquantes, afin d’obtenir un cadre clinique réaliste. Les méthodes proposées relèvent ce défi en étudiant comment exploiter au mieux les a priori du domaine, tels que la connaissance des formes anatomiques.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 181-203).
Mots-clés libres:	adaptation au domaine, segmentation sémantique, optimisation sous contrainte, apprentissage profond, imagerie médicale
Directeur de mémoire/thèse:	Directeur(-trice) Ben Ayed, Ismail
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Lombaert, Hervé
Programme:	Doctorat en génie > Génie
Date de dépôt:	24 avr. 2026 16:29
Dernière modification:	24 avr. 2026 16:29
URI:	https://espace.etsmtl.ca/id/eprint/3891

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt