Unsupervised three-dimensional segmentation of scoliotic spines from MR volumes with uncertainty estimation

Enamundram, Muni Venkata Naga Karthik (2021). Unsupervised three-dimensional segmentation of scoliotic spines from MR volumes with uncertainty estimation. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (6MB) | Prévisualisation

Résumé

Vertebral bone segmentation from magnetic resonance (MR) images is a challenging task. Due to the inherent nature of the modality to emphasize soft tissues of the body, common thresholding algorithms are ineffective in detecting bones in MR images. On the other hand, it is relatively easier to segment bones from computed tomography (CT) images because of the high contrast between bones and the surrounding regions.

This thesis proposes a novel method for a simple thresholding-based segmentation of the scoliotic spine that generates its 3D model by performing a cross-modality synthesis between MR and CT domains. However, this implicitly assumes the availability of paired MR-CT data, which is rare, especially in the case of scoliotic patients. Therefore, the proposed method is completely unsupervised and fully three-dimensional (3D). A 3D CycleGAN model is trained for an unpaired volume-to-volume translation across MR and CT domains. Then, the Otsu thresholding algorithm is applied to the synthesized CT volumes for easy segmentation of the vertebral bones. The resulting segmentation is used to reconstruct a 3D model of the spine. The unsupervised nature of the problem along with the lack of ground truth CT data make it difficult to objectively analyze the performance of the 3D CycleGAN. Therefore, a Bayesian adaptation of CycleGAN is proposed for capturing the uncertainty information in the form of aleatoric and epistemic uncertainties during translation. This enhancement makes the model self-sufficient by providing a measure of the confidence in the model’s predictions while simultaneously making it more interpretable for the Otsu segmentation task.

Ablation-study type experiments were run to determine the importance of uncertainty estimation and the improvement in the quality of translated volumes is also shown. The proposed method is quantitatively validated on 46 scoliotic vertebrae in 5 patients with varying degrees of the spinal curvature by computing the point-to-surface mean distance between the landmark points for each vertebra obtained from pre-operative X-rays and the surface of the segmented vertebrae. The study results in a mean distance error of 3.17 ± 1.04 mm. Based on qualitative and quantitative results, it is concluded that the proposed framework is able to obtain good segmentations and 3D models of the scoliotic spines along with the crucial uncertainty information, all after training from unpaired data in an unsupervised manner.

Titre traduit

Segmentation tri-dimensionnelle non supervisée de la colonne vertébrale scoliotique de volumes d’IRM avec estimation de l’incertitude

Résumé traduit

La segmentation des vertèbres à partir d’images de résonance magnétique (IRM) est une tâche difficile. En raison de la nature de cette modalité, qui met l’accent sur les tissus mous du corps, les algorithmes de seuillage courants sont inefficaces pour détecter les os dans les IRM. D’autre part, il est relativement plus facile de segmenter les os à partir d’images de tomographie axiale (CT) en raison du contraste élevé entre les os et les tissus mous.

Cette thèse propose une nouvelle méthode de segmentation simple basée sur le seuillage de la colonne vertébrale scoliotique qui génère son modèle 3D en effectuant une synthèse intermodalités entre les domaines IRM et CT. Cependant, cela suppose implicitement la disponibilité de données IRM-CT appariées, ce qui est rare, surtout dans le cas de patients scoliotiques. Par conséquent, la méthode proposée est totalement non supervisée et entièrement tridimensionnelle (3D). Un modèle CycleGAN 3D est entraîné pour une traduction non appariée de volume à volume dans les domaines de l’IRM et de la CT. Ensuite, l’algorithme de seuillage d’Otsu est appliqué aux volumes CT synthétisés pour une segmentation facile des os vertébraux. La segmentation résultante est utilisée pour reconstruire un modèle 3D de la colonne vertébrale. La nature non supervisée du problème ainsi que le manque de données CT de base rendent difficile l’analyse objective de la performance du CycleGAN 3D. Par conséquent, une adaptation bayésienne de CycleGAN est proposée pour capturer l’information d’incertitude sous la forme d’incertitudes aléatoires et épistémiques pendant la traduction. Cette amélioration rend le modèle autosuffisant en fournissant une mesure de la confiance dans les prédictions du modèle tout en le rendant plus interprétable pour la tâche de segmentation d’Otsu.

Des expériences de type étude d’ablation ont été menées pour déterminer l’importance de l’estimation de l’incertitude et l’amélioration de la qualité des volumes traduits est également démontrée. La méthode proposée est validée quantitativement sur 46 vertèbres scoliotiques de 5 patients présentant différents degrés de courbure de la colonne vertébrale en calculant la distance moyenne point-surface entre les points de repère de chaque vertèbre obtenus à partir de radiographies préopératoires et la surface de la vertèbre segmentée. L’étude aboutit à une erreur moyenne de 3.17 ± 1.04 mm. Sur la base des résultats qualitatifs et quantitatifs, il est conclu que le cadre proposé est capable d’obtenir de bonnes segmentations et de bons modèles 3D de la colonne vertébrale scoliotique ainsi que des informations cruciales sur l’incertitude, le tout après un apprentissage à partir de données non appariées de manière non supervisée.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in electrical engineering". Comprend des références bibliographiques (pages 75-79).
Mots-clés libres:	segmentation des vertèbres, scoliose, synthèse multimodale, CycleGAN 3D, incertitude
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Laporte, Catherine
Codirecteur:	Codirecteur Cheriet, Farida
Programme:	Maîtrise en ingénierie > Génie électrique
Date de dépôt:	23 nov. 2021 15:35
Dernière modification:	23 nov. 2021 15:35
URI:	https://espace.etsmtl.ca/id/eprint/2791

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt