Uncertainty modelling for end-to-end 3D reconstruction of coronary arteries from 2D X-ray angiography

Martin, Rémi (2022). Uncertainty modelling for end-to-end 3D reconstruction of coronary arteries from 2D X-ray angiography. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (6MB) | Prévisualisation

Résumé

Coronary artery diseases are one of the main causes of death in Canada. Amongst those, stenoses of the coronary arteries are one of the most predominant. During a percutaneous intervention, a catheter is inserted through the femoral artery and guided towards to heart. During stenting procedures, a stent is guided alongside the catheter. Upon reaching the narrowed artery, the catheter is expanded to give the affected artery a more tubular shape.

X-ray angiography are currently the gold-standard imaging procedure for the guidance of catheters. These images are obtained using X-rays while injecting contrast agents in the patient’s arteries. The main difficulty linked to the use of angiography is linked to the noise contained in the images and the ambiguities created by the projection of the 3D structures onto 2D images. As such, the outcome of the stenting procedures is intimately linked to the experience of the cardiologists. Using a 3D model of the arteries during percutaneous interventions could help alleviate the difficulty encountered during such interventions.

Hence, our main objective is to model uncertainty in the context of 3D reconstruction of coronary arteries during percutaneous interventions. Our contributions are three-fold: 1. Coronary artery segmentation on X-ray angiography using uncertainty metrics; 2. Fully customizable coronary artery angiography synthesis; 3. Monocular 3D reconstruction of coronary arteries using mesh deformation networks.

The first contribution is a novel method to segment coronary arteries in X-ray angiography. This is done using Bayesian Convolutional Neural Networks to also provide a pixel-wise measure of uncertainty regarding the yielded segmentation. This measure of uncertainty is then used alongside a fully-connected neural network designed to provide a threshold for the uncertainty values. The values above the threshold and then deemed too risky to use directly and flagged for the operator while the values below can safely be used for interventions.

Our second objective considers a new method to synthesize coronary artery X-ray angiography. We used a realistic cardio-respiratory simulator to generate fully customizable sequences of coronary arteries. We proposed a new loss function designed to work with CycleGAN to transfer the style of X-ray coronary arteries onto the simulated images. The new loss function is based on a vesselness measure that checks that the topology of the coronary arteries from the input image is respected in the stylized images. Our method allows for the generation of new images for learning purposes or data augmentation purposes by allowing the generation of out-of-distribution data.

For our last objective, we proposed the single-view 3D reconstruction of coronary arteries from a segmented X-ray angiography. To do so, we used two learning models. One model is trained to extract visual and geometrical features from the segmented image. The other model uses the extracted features to adapt a mesh and gradually make it adapt to the shape of the object to reconstruct. Using a single image for the 3D reconstruction alleviates the need for temporal registration and allows the application of the method to multiple catheterization laboratory configurations. The obtained reconstruction can be used as an additional reference for the guidance of catheters during percutaneous interventions.

Titre traduit

Modélisation de l’incertitude dans le contexte de la reconstruction 3D des artères coronaires à partir d’angiographie à rayon X

Résumé traduit

Les maladies des artères coronaires sont l’une des principales causes de mortalité au Canada. Lorsque possible, les cardiologues préfèrent l’utilisation de cathétérisme, une intervention minimalement invasive, à des fins de traitement.

Lors d’une pose de stent en cathétérisme cardiaque, un cathéter est inséré dans le corps du patient suivi d’un stent qui est ensuite déplacé jusqu’à arriver à la structure vasculaire visée. Cette navigation est généralement faite par les cardiologues en se repérant sur une ou plusieurs projections 2D appelées angiographies. Les angiographies sont des radiographies sur lesquelles sont visibles les structures vasculaires grâce à l’injection d’agent de contraste par cathéter. Les difficultés rencontrées lors de telles interventions sont principalement liées à la technique d’imagerie utilisée. En effet, les angiographies sont une représentation en 2D de structures en 3D. Il est donc difficile d’estimer la taille et la profondeur réelle des artères. Ensuite, l’agent de contraste se dilue rapidement dans le sang. La fenêtre de temps pendant laquelle les structures vasculaires sont visibles est donc assez limitée. De même, les structures vasculaires bougent et se déforment en fonction des mouvements cardiaques et respiratoires. Tous ces artefacts rendent la navigation et la pose de stent difficile.

Notre objectif principal est de modéliser l’incertitude dans le contexte spécifique de la reconstruction 3D d’artères coronaires lors d’interventions de pose de stent en cardiologie. Cet objectif peut se décomposer en trois objectifs spécifiques : 1. Segmentation des artères coronaires sur des angiographies et fournir une mesure d’incertitude liée à la segmentation; 2. Effectuer la synthèse de données supplémentaires et paramétrables; 3. Effectuer la reconstruction 3D des artères segmentées à partir d’une vue unique.

Notre premier objectif spécifique se base sur l’utilisation de réseaux de neurones Bayésiens. En réalisant la segmentation de différentes structures vasculaires (aortes, artères coronaires, artères pulmonaires) à l’aide de convolutions et de couches entièrement connectées, nous souhaitons également utiliser les avantages de l’approche Bayésienne des probabilités afin de fournir une mesure d’incertitude. Cette mesure d’incertitude peut être décomposée en deux sous-catégories d’incertitudes : l’incertitude aléatoire et l’incertitude épistémique. La première représente les sources d’information incertaines directement présentes dans les images utilisées lors de l’apprentissage. La seconde représente ce que le modèle a appris, et plus particulièrement ce qu’il n’a pas appris. Fournir une mesure de ces incertitudes permet de comprendre les limites de notre apprentissage, tout en alertant des prédictions les plus incertaines.

Notre second objectif spécifique porte sur la synthèse d’angiographies d’artères coronaires. Nous avons pour cela utilisé un simulateur cardio-respiratoire pour générer des cinéangiographies paramétrables à partir de modèles 3D d’artères. Nous avons proposé un algorithme de transfert de style basé sur une mesure de vascularité. Le transfert de style permet d’ajouter le style et le bruit particulier des vraies angiographies sur les simulations obtenues. Ainsi, notre méthode permet de synthétiser de nouvelles images d’artères coronaires à des fins d’apprentissage ou d’augmentation de données pour algorithmes d’apprentissage automatique.

Enfin, notre dernier objectif consiste à réaliser la reconstruction 3D d’artères coronaires à partir d’une seule image d’angiographie segmentée. Pour cela un modèle d’apprentissage est utilisé pour extraire les caractéristiques d’une image et de les associer à un graphe qui est graduellement déformé au cours du temps afin de former la reconstruction 3D finale. Utiliser une seule image permet d’éviter l’utilisation de méthodes de recalage temporel et d’adapter la méthode de reconstruction à plus de configurations de laboratoire de cathétérisation. Les modèles 3D ainsi obtenus sont des vues supplémentaires utilisables pendant les interventions. Ces vues contiennent moins d’ambiguïtés que des projections 2D qui demandent plus d’expérience de la part des cardiologues.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 105-114).
Mots-clés libres:	artères coronary, reconstruction 3D, segmentation avec incertitude, incertitude, synthèse d’artères coronaires
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Duong, Luc
Programme:	Doctorat en génie > Génie
Date de dépôt:	09 déc. 2022 14:35
Dernière modification:	09 déc. 2022 14:35
URI:	https://espace.etsmtl.ca/id/eprint/3116

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt