Segmentation automatique par apprentissage profond de la colonne vertébrale scoliotique à partir d'images de résonance magnétique

Guerroumi, Nassim (2019). Segmentation automatique par apprentissage profond de la colonne vertébrale scoliotique à partir d'images de résonance magnétique. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (3MB) | Prévisualisation
Prévisualisation	PDF Télécharger (570kB) | Prévisualisation

Résumé

Ce projet de maîtrise vise le recours à l’IRM pour porter assistance aux cliniciens dans la planification du traitement de la scoliose idiopathique de l’adolescent. Celle-ci est une pathologie qui occasionne une torsion et une courbure de la colonne vertébrale qui entraînent des déformations 3D complexes dans les cas les plus graves. L’IRM offre sur le plan sagittal un accès visuel net aux deux principales structures anatomiques en lien avec cette pathologie : les disques intervertébraux (DIVs) et les vertèbres. La discectomie par thoracoscopie est une procédure chirurgicale minimalement invasive du rachis employée dans certains traitements de la scoliose. Ayant une visualisation limitée de la colonne vertébrale durant la procédure, le chirurgien a recours à un système de navigation par ordinateur qui nécessite l’utilisation d’une caméra endoscopique qui prend des images de la colonne vertébrale du patient en temps réel pour mettre à jour un modèle préopératoire 3D obtenu par IRM suite à un recalage 3D/2D. Toutefois, la mise en place du modèle préopératoire 3D implique une segmentation des corps vertébraux (CVs) et des DIVs. De ce fait, l’objectif de cette recherche est de proposer une méthode de segmentation simultanée des DIVs et CVs à partir d’IRM de patients atteints de scoliose idiopathique.

L’émergence de l’apprentissage profond et le succès dont il fait preuve en segmentation d’images de par ses performances et sa capacité de généralisation sur des données diverses, nous a menés naturellement à nous en servir pour résoudre ce problème. À travers la revue de littérature, on peut constater que la segmentation simultanée des DIVs et CVs à partir d’IRM en ayant recours à l’apprentissage profond n’est pas explorée. Les travaux existants se focalisent sur l’une des deux structures uniquement. De plus, leur validation sur des données de patients scoliotiques ne semble pas être réalisée. La restriction de l’accès aux images médicales est un sérieux obstacle d’autant plus que les approches basées sur l’apprentissage profond sont gourmandes en termes de données d’apprentissage.

Dans le cadre de notre projet, nous avons construit une base de données à partir de deux sources. La première est composée d’un nombre important d’images de sujets non scoliotiques alors que la deuxième est constituée d’un nombre limité d’images de patients scoliotiques. Nous avons proposé un pré-traitement pour nettoyer et normaliser ces images de sorte à rehausser leur contraste, apparier les deux bases de données et effectuer une augmentation de données à travers des stratégies géométriques. L’entraînement de notre modèle de segmentation simultanée des DIVs et CVs passe par un apprentissage supervisé en deux temps. Nous entraînons d’abord un modèle avec des images de sujets non scoliotiques. Ensuite, ce modèle est ré-entraîné avec les images de patients scoliotiques. Dans les deux étapes, nous avons utilisé un réseau de neurones convolutif (CNN) dont l’architecture est de type encodeur-décodeur. Par contre, nous avons introduit une opération de recalibration des caractéristiques nommé Spatial and Channel Squeeze and Excitation (scSE) pour mettre en avant les plus discriminantes. Nos images souffrent d’un déséquilibre de classes où l’arrière-plan de l’image est plus dominant que les DIVs et les CVs. Pour alléger ce problème, nous avons ajouté un terme basé sur le coefficient de Kappa de Cohen à la fonction de l’entropie croisée de notre fonction objectif.

Nos expériences montrent que nos choix méthodologiques sont payants. En exprimant la qualité des résultats en termes de coefficient de Dice, nous obtenons dans le cas de la segmentation des CVs, une moyenne de 85% de bonnes prédictions sur l’ensemble de la base de données de test et une moyenne de 78% dans le cas de segmentation des DIVs. Nous avons ainsi démontré qu’une segmentation multi-classes a produit de meilleures performances par rapport à une segmentation binaire en deux temps (un modèle pour les DIVs et un autre pour les CVs). Aussi, le transfert d’apprentissage et l’utilisation de blocs scSE ont tous deux dévoilé tout leur intérêt et leur complémentarité. Le premier a permis au modèle de mieux se familiariser avec les images de patients scoliotiques et ainsi étendre la représentation des DIVs et CVs aux déformations qu’ils pouvaient subir dans le contexte de la scoliose. Le second a doté le modèle d’une meilleure capacité de généralisation, ce qui a pour conséquence directe d’avoir une compréhension générale plus large des DIVs et CVs.

La contribution que nous apportons à travers ce projet se manifeste par l’intérêt que nous portons à la scoliose en validant notre approche sur des IRMs de patients scoliotiques. À l’instar de ce qui est proposé dans la littérature de segmentation de la colonne vertébrale à partir d’IRM en ayant recours à l’apprentissage profond, notre approche se distingue par la segmentation simultanée des CVs et DIVs, les deux plus importants repères osseux dans le traitement de la scoliose. De plus, le recours à une stratégie qui prend en compte le poids des caractéristiques à travers l’utilisation du bloc scSE n’a pas été explorée dans la littérature. Pour des études futures, nous proposons d’étendre l’architecture actuelle afin d’inclure de l’information multi-modalité et multi-échelle. La première information servira à généraliser le modèle et être performant sur un plus grande nombre de modalités IRM. Le second servira à assurer une invariance par rapport à l’échelle. Pour pallier le problème crucial de manque de données de patients scoliotiques, nous proposons de recourir à un auto-encodeur variationnel dans le but d’apprendre une représentation latente de ces données scoliotiques afin de générer de nouvelles images qui pourraient être utilisées durant l’entraînement. À terme, le modèle proposé permettra une segmentation automatique des disques et des corps vertébraux qui pourra être utilisée dans plusieurs applications cliniques. Une fois le modèle entrainé, un recalage 3D/2D en temps réel d’un modèle préopératoire 3D de la colonne vertébrale et d’une radiographie intra-opératoire pourra être effectué dans le cadre des chirurgies minimalement invasives du rachis. De plus, notre modèle permettra une fusion multimodale automatique d’un volume IRM avec une reconstruction 3D radiographique de la colonne vertébrale et la topographie de surface du tronc, dans le cadre de la simulation de l’effet de la chirurgie de la colonne sur l’apparence externe du tronc de patients.

Titre traduit

Automatic segmentation of the scoliotic spine from MR images

Résumé traduit

This master’s project aims to have MRI assisted in planning the treatment of adolescent idiopathic scoliosis. This is a pathology that causes torsion and curvature of the vertical column with the drive of 3D complex deformations in more severe cases. MRI offers a clear visual access to both anatomical structures related to this pathology : intervertebral discs (IVDs) and vertebrae. Thoracoscopic discectomy is a minimally invasive surgical procedure of the spine used in some scoliosis treatments. Having a limited visualization of the spine during the procedure, the surgeon uses a computer navigation system that passes through an endoscopic camera that takes an image of the spine by a real patient a preoperative 3D model obtained by MRI following a 3D / 2D registration. However, the implementation of the 3D preoperative model is a segmentation of the vertebral bodies (CVs) and IVDs. This product is a simultaneous segmentation of DIVs and CVs from MRI of patients with idiopathic scoliosis.

The emergence of deep learning and its successes in segmentation of images warranted by its performance and ability to generalize on various data, led us naturally to use it to solve this problem. Through the literature review, it can be seen that the simultaneous segmentation of DIVs and CVs from MRI using deep learning is not explored. Existing work focuses on one of the two structures only. Moreover, their validation on scoliotic patient data does not seem to be realized. Restricted access to medical images is a serious obstacle, especially since deep learning approaches are greedy in terms of learning data.

As part of our project, we built a database from two sources. The first is composed of a large number of images of non-scoliotic subjects while the second consists of a limited number of images of scoliosis patients. We proposed a pre-treatment to clean and normalize these images in order to enhance their contrast, match the two databases and increase data through geometric strategies. The training of our model of simultaneous segmentation of DIVs and CVs goes through supervised learning in two stages. We first train a model with images of non-scoliotic subjects. Then, this model is re-trained with images of scoliosis patients. In both steps, we used a convolutional neural network (CNN) whose architecture is of encoder-decoder type. On the other hand, we introduced a feature recalibration operation named Spatial and Channel Squeeze and Excitation (scSE) to highlight the most discriminating features. Our images suffer from a class imbalance wherein the background of the image is more dominant than the DIVs and the CVs. To alleviate this problem, we have added a term based on Cohen’s Kappa coefficient to the cross-entropy function of our objective function.

Our experiments show that our methodological choices are paying off. Expressing the quality of our results in terms of the Dice coefficient, we obtain in the case of CV segmentation, an average of 85% good predictions over the entire test database and an average of 78% in the case of segmentation of DIVs. We have shown that a multi-class segmentation produces better performances compared to a binary segmentation in two stages (one model for DIVs and another one for CVs). Also, the transfer of learning and the use of SWSE blocks have both revealed their interest and complementarity. The first allowed the model to become better acquainted with scoliotic patient images and thus extend the representation of DIVs and CVs to the deformations they could undergo in the context of scoliosis. The second endowed the model with a better ability to generalize, which has the direct consequence of having a broader general understanding of DIVs and CVs.

The contribution we make through this project is reflected in our interest in scoliosis by validating our approach on MRI of scoliotic patients. Similar to what is proposed in the spinal segmentation literature from MRI using deep learning, our approach distinguishes by the simultaneous segmentation of CVs and DIVs, the two most important benchmarks bone in the treatment of scoliosis. In addition, the use of a strategy that takes into account the weight of characteristics through the use of the scSE block has not been explored. For future studies, we propose to extend the current architecture to include multi-modality and multi-scale information. The first information will be used to generalize the model and perform better on a larger number of MRI modalities. The second will serve to ensure an invariance with respect to the scale. To overcome the crucial problem of lack of scoliotic patient data, we propose to use a variational self-encoder in order to learn a latent representation of this scoliotic data in order to generate new images that could be used during training. Ultimately, the proposed model will allow automatic segmentation of disks and vertebral bodies that can be used in several clinical applications. Once the model is trained, real-time 3D / 2D registration of a preoperative 3D model of the spine and intraoperative radiography can be performed as part of minimally invasive spine surgery. In addition, our model will allow an automatic multimodal fusion of an MRI volume with a 3D radiographic reconstruction of the spine and the trunk surface topography, as part of the simulation of the effect of the spine surgery on the spine. external appearance of the trunk of patients.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise avec mémoire en génie des technologies de l'information". Comprend des références bibliographiques (pages 89-95).
Mots-clés libres:	apprentissage profond, segmentation, CNN, scoliose, corps vertébral, disque intervertébral, colonne vertébrale, IRM
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Laporte, Catherine
Codirecteur:	Codirecteur Cheriet, Farida
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	10 juill. 2019 15:08
Dernière modification:	10 juill. 2019 15:08
URI:	https://espace.etsmtl.ca/id/eprint/2338

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt