Medical image segmentation under challenging scenarios

Wang, Ping (2023). Medical image segmentation under challenging scenarios. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (8MB) | Prévisualisation

Résumé

Segmentation is a critical task in medical image analysis, which plays a vital role in computeraided diagnose, image-guided radiotherapy, and surgical navigation. Deep learning-based segmentation methods have achieved unprecedented progress in recent years, benefiting from large amounts of annotated data. However, obtaining annotations for medical images requires substantial efforts and costs. Further, the limited availability of annotated medical data poses a significant challenge in achieving high-performance medical image segmentation. To obtain competitive performance with limited labeled data, semi-supervised learning approaches have been developed to also exploit unlabeled data. Though these approaches have achieved an improved performance, the unsupervised training on unlabeled data also brought some challenges. For instance, inaccurate predictions made for unlabeled data in the initial training stage can be accentuated as the training progresses, leading to a degradation in performance. Another problem is the labeled data may be insufficient for the model to learn an anatomical-plausible shape for the organ to segment. In such case, it may be useful to employ anatomical priors to guide the model learning. Another practical limitation is that the labeled data and unlabeled data can have distinct distributions due to differences in the image acquisition devices. This represents a more challenging task since the model’s training can be dominated by labeled data and, as a result consequently, this model may fail to adapt to the distribution of target data. Several approaches have been proposed for domain adaptation, for instance, relying on auxiliary reconstruction decoders or style-transfer. However, developing simple yet highly effective solutions for this task, that avoid the use of a complex framework, is still a pressing direction of research.

The main objective of this thesis is to develop simple and accurate methods for medical image segmentation under these two challenging scenarios. Specifically, we first proposed a self-paced and self-consistent co-training method for semi-supervised image segmentation. This method addresses the problem of inaccurate predictions for unlabeled data during the initial training stage, thereby boosting segmentation performance. Secondly, we developed a constrained adversarial training method for semi-supervised segmentation, which enforces anatomical-plausible predictions by incorporating complex non-differentiable anatomical priors. The last contribution focuses on the more challenging domain adaptation scenario. For this task, we proposed a shape-aware joint distribution alignment method for cross-domain image segmentation, which achieves competitive cross-domain segmentation performance by explicitly aligning domain-invariant representation encoding shape size and spatial relationship between classes. This thesis has resulted in three publications in high-impact medical imaging journals as well as a publication in a top conference of that field. The specific objectives of this thesis are presented below.

In our first objective, we focus on semi-supervised segmentation and propose a method based on a co-training framework. First, we present a self-paced learning strategy for co-training that enables jointly-trained neural networks to focus on easier-to-segment regions first, and then gradually consider harder ones. This strategy is implemented via an end-to-end differentiable loss in the form of a generalized Jensen Shannon Divergence (JSD). To encourage the networks to produce not only consistent but also confident predictions, we enhance this generalized JSD loss with an uncertainty regularizer based on entropy. Furthermore, the robustness of individual models in our co-training framework is further improved using a self-ensembling loss that enforces the models prediction to be consistent across different training iterations. The effectiveness of our method is assessed on three challenging segmentation datasets including images of different modalities, for which it boosts segmentation accuracy when very few labeled images are used. We also explore the impact of the proposed self-paced learning strategy, self-consistency strategy, as well as our uncertainty regularizer. Experimental results show the effectiveness of each component in the proposed method.

Our second objective also focuses on semi-supervised segmentation. For this objective, a constrained adversarial training method is proposed for anatomical-plausible segmentation. Unlike approaches focusing solely on accuracy measures like Dice, this method considers complex anatomical constraints like connectivity, convexity, and symmetry that cannot be easily modeled in a loss function. The problem of non-differentiable constraints is solved using the Reinforce algorithm which enables to obtain a gradient for the violated constraints. To generate constraint-violating examples on the fly, and thus obtain useful gradients, our method adopts an adversarial training strategy which modifies training images to maximize the constraint loss, and then updates the network to be robust to these adversarial examples. The proposed method offers a generic and efficient way to add complex segmentation constraints on top of any segmentation network. Experiments on four clinically-relevant datasets as well as on synthetic datasets generated for this work demonstrate the effectiveness of our method in terms of segmentation accuracy and anatomical plausibility.

The last objective focuses on the domain adaptation scenario. For this scenario, we developed a shape-aware joint distribution alignment method for cross-domain segmentation, which aligns high-order statistics, computed for the source and target domains, that encode domaininvariant spatial relationships between segmentation classes. Our method first estimates the joint distribution of predictions for pairs of pixels whose relative position corresponds to a given spatial displacement. Domain adaptation is then achieved by aligning the joint distributions of source and target images, computed for a set of displacements. Two enhancements of this method are proposed. The first one uses an efficient multi-scale strategy that enables capturing long-range relationships in the statistics. The second one extends the joint distribution alignment loss to features in intermediate layers of the network by computing their cross-correlation. We test our method on the task of unpaired multi-modal cardiac segmentation using the MultiModality Whole Heart Segmentation (MMWHS) Challenge dataset and on the task of prostate segmentation task, where images of two datasets are taken as data from different domains. Our results show the advantages of our method compared to recent approaches for cross-domain image segmentation.

Titre traduit

Segmentation des images médicales dans des scénarios difficiles

Résumé traduit

La segmentation est une tâche critique dans l’analyse d’images médicales, qui joue un rôle essentiel dans le diagnostic assisté par ordinateur, la radiothérapie guidée par l’image et la navigation chirurgicale. Les méthodes de segmentation basées sur l’apprentissage profond ont réalisé des progrès sans précédents, bénéficiant d’une grande quantité de données annotées. Or, l’acquisition de données annotées en imagerie médicale requiert des efforts et coûts substantiels, limitant l’application de l’apprentissage profond pour la segmentation d’images dans ce domaine. Pour obtenir des performances compétitives avec des données annotées limitées, des approches à base d’apprentissage semi-supervisé ont été développées pour exploiter également les données non annotées, Bien que ces approches aient permis d’améliorer les performances, l’entraînement non supervisé sur des données sans annotation apporte certains défis. Par exemple, des prédictions incorrectes sur des données non annotées, lors de la phase d’entraînement initiale, peuvent être accentuées au fur et à mesure que l’entraînement progresse, provoquant une dégradation des performances. Un autre problème est que les données annotées peuvent être insuffisantes pour que le modèle apprenne une forme anatomiquement plausible de l’organe à segmenter. Dans ce cas, il peut être utile d’employer des apriori anatomiques pour guider l’apprentissage du modèle. En outre, une autre limitation pratique est que les données annotées et non annotées peuvent avoir des distributions distinctes en raison de différences dans les appareils d’acquisition d’images. Cela représente une tâche plus complexe car l’apprentissage du modèle peut être dominé pour les données annotées et, conséquemment, ce dernier ne pourra pas s’adapter efficacement à la distribution des données à segmenter. Plusieurs approches ont été proposées pour l’adaptation de domaine, par exemple, utilisant des décodeurs de reconstruction auxiliaires ou des techniques à base de transfert de style. Cependant, l’exploration de solutions simples mais efficaces pour ce problème, qui évitent l’emploi d’une infrastructure logicielle complexe, demeure une direction critique de recherche.

L’objectif principal de cette thèse est de développer des méthodes simples et précises pour la segmentation d’images médicales dans ces deux scénarios difficiles. Dans ce but, nous proposons tout d’abord une méthode de co-entraînement auto-rythmée et auto-cohérente pour la segmentation semi-supervisée d’images. Cette méthode résout le problème des prédictions incorrectes pour les données non étiquetées au cours de la phase d’entraînement initiale, améliorant ainsi la segmentation. Deuxièmement, nous avons développé une approche d’entraînement antagoniste avec contraintes pour la segmentation semi-supervisée anatomiquement plausible. Cette approche permet d’obtenir une segmentation anatomiquement plausible en incorporant des apiori anatomiques complexes non différentiables. La dernière contribution se concentre sur le scénario plus difficile de l’adaptation de domaine. Pour cette tâche, nous avons proposé une méthode d’alignement de distribution conjointe sensible à la forme pour la segmentation inter-domaines d’images. Cette méthode atteint des performances compétitives de segmentation inter-domaines en alignant explicitement la représentation invariante de domaine modélisant la taille des classes de segmentation et la relation spatiale entre ces classes. Cette thèse a donné lieu à trois publications dans des revues de haut niveau en imagerie médicale et une publication à une des principales conférences dans ce domaine. Les objectifs spécifiques de cette thèse sont présentés ci-dessous.

Dans notre premier objectif, nous nous concentrons sur la segmentation semi-supervisée et proposons une méthode basée sur un cadre de co-entraînement. Tout d’abord, une stratégie d’apprentissage auto-rythmée pour le co-entraînement est présentée, permettant aux réseaux de neurones entraînés conjointement de se concentrer d’abord sur les régions les plus faciles à segmenter, puis de tenir compte progressivement des régions plus difficiles. Ceci est mis en œuvre via une fonction de perte différentiable de bout en bout sous la forme d’une divergence Jensen Shannon généralisée (JSD). Pour encourager les réseaux à produire non seulement des prédictions cohérentes mais aussi ayant une haute confiance, nous améliorons cette perte JSD généralisée avec un régularisateur d’incertitude basé sur l’entropie. La robustesse des modèles individuels dans le cadre de co-entraînement est ensuite améliorée à l’aide d’une stratégie par ensemble temporel qui force leur prédiction à être cohérente à travers différentes itérations de l’entraînement. L’efficacité de cette méthode est évaluée sur trois jeux de données de segmentation complexe comprenant des images de différentes modalités, pour lesquels elle améliore la précision de la segmentation lorsque très peu d’images annotées sont utilisées. Nous explorons également l’impact de la stratégie d’apprentissage auto-rythmée proposée, de la stratégie d’auto-cohérence, ainsi que du régularisateur d’incertitude proposé. Les résultats expérimentaux montrent l’efficacité de chacun des composants de la méthode proposée.

Notre deuxième objectif porte également sur la segmentation semi-supervisée. Pour cet objectif, une méthode d’entraînement antagoniste avec contraintes est proposée pour la segmentation semi-supervisée anatomiquement plausible. Contrairement aux approches se concentrant uniquement sur les mesures de précision comme le Dice, cette méthode prend en compte des contraintes anatomiques complexes telles que la connectivité, la convexité et la symétrie qui ne peuvent pas être facilement modélisées dans une fonction de perte. Le problème des contraintes non différentiables est résolu à l’aide d’un algorithme de renforcement qui permet d’obtenir un gradient pour les contraintes violées. Pour générer de manière dynamique des exemples violant les contraintes, et ainsi obtenir des gradients utiles à l’apprentissage, notre méthode adopte une stratégie d’entraînement antagoniste qui modifie les images d’entraînement pour maximiser la perte de contrainte, puis met à jour le réseau pour qu’il soit robuste à ces exemples antagonistes. La méthode proposée offre un moyen générique et efficace d’ajouter des contraintes de segmentation complexes par dessus n’importe quel réseau de segmentation. Des expériences sur des données synthétiques et quatre ensembles de données cliniquement pertinentes démontrent l’efficacité de notre méthode en termes de précision de segmentation et de plausibilité anatomique.

Le dernier objectif se concentre sur le scénario d’adaptation de domaine. Pour ce scénario, nous avons développé une méthode d’alignement de distribution conjointe sensible aux formes pour la segmentation inter-domaines. Cette méthode aligne les statistiques d’ordre élevé, calculées pour les domaines source et cible, qui encodent les relations spatiales invariantes au domaine entre les classes de segmentation. Notre méthode estime d’abord la distribution conjointe des prédictions pour une paire de pixels dont la position relative correspond à un déplacement spatial donné. L’adaptation de domaine est alors réalisée en alignant les distributions conjointes des images source et cible, calculées pour un ensemble de déplacements. Deux améliorations de cette méthode sont ensuite proposées. La première utilise une stratégie multi-échelle efficace qui permet de capturer les relations à longue portée dans les statistiques. La seconde étend la perte d’alignement de distribution conjointe aux caractéristiques dans les couches intermédiaires du réseau, en calculant leur intercorrélation. Nous testons notre méthode sur la tâche de segmentation cardiaque multimodale non appariée à l’aide de l’ensemble de données MultiModality Whole Heart Segmentation Challenge (MMWHS) et sur la tâche de segmentation de la prostate, où les images de deux ensembles de données sont employées comme données provenant de différents domaines. Nos résultats montrent les avantages de notre méthode par rapport aux approches récentes de segmentation inter-domaines d’images.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 139-152).
Mots-clés libres:	segmentation des images médicales, segmentation semi-supervisée, adaptation de domaine non supervisée, contraintes non différentiables, représentation invariante de domaine
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Desrosiers, Christian
Codirecteur:	Codirecteur Pedersoli, Marco Zhang, Caiming
Programme:	Doctorat en génie > Génie
Date de dépôt:	01 févr. 2024 14:28
Dernière modification:	01 févr. 2024 14:28
URI:	https://espace.etsmtl.ca/id/eprint/3339

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt