Modeling and visualizing vertebral anatomy from freehand 3D ultrasound

Li, Sen (2024). Modeling and visualizing vertebral anatomy from freehand 3D ultrasound. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (10MB) | Prévisualisation

Résumé

Freehand 3D Ultrasound (FH 3D US) is emerging as a viable, non-invasive alternative to X-ray imaging for assessing spinal deformities like Adolescent Idiopathic Scoliosis (AIS), which is the most common form of scoliosis in adolescents and is characterized by curvatures exceeding 10 degrees. Unlike X-rays, which rely on ionizing radiation and pose risks with frequent use, FH 3D US offers a radiation-free, cost-effective, and real-time imaging solution that enhances safety for young patients requiring regular follow-ups. This technology also allows for dynamic imaging and portability, and it can assess patients in their natural standing posture, thereby reflecting the spine curvature.

However, the inherent nature of ultrasound imaging presents challenges in spinal analysis. Factors such as image artifacts, variations in tissue contrast, and the difficulty of maintaining consistent probe alignment during freehand scanning can complicate the interpretation of ultrasound images. This thesis focuses on developing novel methods for the automatic extraction of vertebral features from FH 3D US data to facilitate non-invasive analysis of spine anatomy.

A key contribution of this work is the identification of paired 3D lamina curves as a novel and robust representation of spinal shape. These curves are comprised of pairwise anatomical landmarks of the laminae, creating a robust and information-rich representation. Each lumbar lamina landmark is further employed to guide a deep learning model in accurately targeting and extracting the vertebral bone surface. To establish a foundation for automated analysis, two standardized manual labeling protocols were designed and validated by spinal ultrasound experts. These protocols ensure accuracy and consistency in identifying pairwise point landmarks on the laminae for 3D spine shape representation and for delineating the vertebral bone surface.

Building upon this foundation, a Convolutional Neural Network (CNN)-based framework was developed for the automatic extraction of pairwise lamina landmarks from ultrasound images. We addressed challenges such as identifying optimal criteria for laminae structure identification, optimizing hyper-parameters for robust training, and selecting suitable CNN models. The performance of the CNN-based framework was assessed using K-Fold cross-validation on data from three participants. The results showed a mean distance error of 2.1 ± 1.3 mm and 1.8 ± 1.2 mm (3mm is acceptable for scoliosis assessment) for left and right lamina landmarks, respectively. This work demonstrated the feasibility of lamina landmark extraction from individual 2D ultrasound images, paving the way for real-time applications.

To further enhance the robustness and smoothness of lamina curve extraction, we extend the CNN-based framework to Sequential Localization Recurrent Convolutional Network (SL-RCN), accommodating the 3D sequential nature of FH 3D US data. This advancement allows for the integration of 3D spine shape constraints into the extraction process, leading to more accurate representations. A 7-fold cross-validation is conducted on data from 7 participants, employing the leave-one-participant-out strategy. In contrast to the CNN-based framework, SL-RCN generates reduced left/right mean distance errors from 1.62/1.63mm to 1.41/1.40mm, and normalized discrete Frechet distances from 0.591/0.639 to 0.428/0.457. The experiment results demonstrated the effectiveness of SL-RCN in extracting accurate and smooth paired lamina landmark curves and ablation studies verified the utility of the architectural components comprising SL-RCN.

Finally, this thesis explores the application of the Segment Anything Model (SAM) Zero-Shot for segmenting vertebral surfaces in ultrasound images, aiming to capture a complete vertebral visualization. The performance of SAM’s automated and prompt-based segmentation methods was evaluated, and a novel method leveraging landmark-prompted SAM and image intensity distribution was proposed for accurate extraction of vertebral bone surfaces. This method is specifically tailored for suboptimal transverse ultrasound images, addressing the limitations of invisible vertical edges in transverse spinal ultrasound images. The acoustic shadow masks beneath the extracted bone surface were evaluated against manually labeled masks, achieving a mean Intersection over Union above 0.92. This approach demonstrated promising results in reconstructing 3D meshes of lumbar vertebrae.

In conclusion, this thesis presents novel methods for automatic extraction of vertebral features from FH 3D US data, paving the way for non-invasive analysis of spine deformities and facilitating the clinical application of spinal ultrasound imaging. The proposed methods for extracting paired 3D lamina curves and vertebral bone surfaces, coupled with the standardized manual labeling protocols, contribute significantly to the advancement of FH 3D US as a viable tool for spine imaging and intervention.

Titre traduit

Modélisation et visualisation de l’anatomie vertébrale à partir de l’échographie 3D libre

Résumé traduit

L’échographie à main levée (FH 3D US) émerge comme une alternative viable et non invasive à l’imagerie par rayons X pour l’évaluation des déformations de la colonne vertébrale telles que la scoliose idiopathique de l’adolescent, qui est la forme la plus courante de scoliose chez les adolescents et se caractérise par des courbures dépassant 10 degrés. Contrairement aux rayons X, qui dépendent des rayonnements ionisants et présentent des risques en cas d’utilisation fréquente, le FH 3D US offre une solution d’imagerie non ionisante, économique et en temps réel qui améliore la sécurité des jeunes patients nécessitant des suivis réguliers. Cette technologie permet également une imagerie dynamique et portable, et peut évaluer les patients dans leur posture debout naturelle, reflétant ainsi la courbure de la colonne vertébrale.

Toutefois, la nature intrinsèque de échographie présente des défis dans l’analyse de la colonne vertébrale. Des facteurs tels que les artefacts, les variations de contraste des tissus et la difficulté à maintenir un alignement constant de la sonde lors de l’acquisition des images par balayage manuel peuvent compliquer l’interprétation des images échographiques. Cette thèse se concentre sur le développement de méthodes novatrices pour l’extraction automatique de points de repère à partir des données de l’FH 3D US afin de faciliter l’analyse non invasive de l’anatomie de la colonne vertébrale.

Une contribution essentielle de ce travail est l’identification de courbes de lames en 3D appariées comme une représentation novatrice et robuste de la forme de la colonne vertébrale. Ces courbes sont constituées de paires de points de repère localisés sur les lames, créant une représentation robuste et riche en informations. Chaque point de repère correspondant à une lame lombaire est également utilisé pour guider un modèle d’apprentissage profond afin de cibler et d’extraire précisément la surface osseuse vertébrale. Pour établir le fondement d’une analyse automatisée, deux protocoles de marquage manuel standardisés ont été conçus et validés par des experts de l’échographie spinale. Ces protocoles assurent la précision et la cohérence dans l’identification des repères ponctuels appariés sur les lames pour la représentation de la forme de la colonne vertébrale en 3D et pour la délimitation de la surface osseuse vertébrale.

Sur la base de ces fondements, un cadre basé sur un Réseau Neuronal Convolutif (CNN) a été développé pour l’extraction automatique des repères de lames appariés à partir d’images d’échographie. Nous avons relevé des défis tels que l’identification des critères optimaux pour la reconnaissance des lames, l’optimisation des hyper-paramètres pour un entraînement robuste, et la sélection de modèles de CNN appropriés. La performance du cadre de travail basé sur CNN a été évaluée à l’aide de la validation croisée K-Fold sur les données de trois participants. Les résultats ont montré une erreur de distance moyenne de 2,1 ± 1,3 mm et de 1,8 ± 1,2 mm (3 mm est acceptable pour l’évaluation de la scoliose) pour les repères des lames gauche et droite, respectivement. Ce travail a démontré la faisabilité de l’extraction des repères à partir d’images d’échographie 2D individuelles, ouvrant ainsi la voie à des applications en temps réel.

Pour améliorer davantage la robustesse et la fluidité de l’extraction des courbes de lames, nous avons étendu le cadre basé sur le CNN au Réseau Convolutif Récurrent de Localisation Séquentielle (SL-RCN), en tenant compte de la nature séquentielle en 3D des données FH 3D US. Cette avancée permet l’intégration des contraintes de forme de la colonne vertébrale en 3D dans le processus d’extraction, conduisant à des représentations plus précises. Une validation croisée à 7 volets est effectuée sur les données de 7 participants, en utilisant la stratégie de laisser-un-participant-de-côté. En comparaison avec le cadre basé sur le CNN, le SL-RCN génère des erreurs de distance moyenne gauche/droite réduites de 1,62/1,63 mm à 1,41/1,40 mm, et des distances de Fréchet discrètes normalisées de 0,591/0,639 à 0,428/0,457. Les résultats de l’expérience ont démontré l’efficacité du SL-RCN dans l’extraction de courbes de repères de lames appariées précises et fluides, et des études d’ablation ont vérifié l’utilité des composants architecturaux composant le SL-RCN.

Enfin, cette thèse explore l’application du Modèle Segment Anything (SAM) en Zero-Shot pour la segmentation des surfaces vertébrales dans les images d’échographie, visant à obtenir une visualisation vertébrale complète. La performance des méthodes de segmentation automatisées basées sur la version automatisée du SAM a été évaluée, et une méthode novatrice exploitant le SAM stimulé par des repères et la distribution d’intensité des images a été proposée pour une extraction précise des surfaces osseuses vertébrales. Cette méthode est spécifiquement adaptée aux images d’échographie transversales suboptimales, et au défi présenté par l’invisibilité des surfaces verticales dans les images d’échographie spinale transversales. Les masques d’ombre acoustique sous la surface osseuse extraite ont été évalués par rapport aux masques étiquetés manuellement, atteignant une moyenne d’Intersection over Union supérieure à 0,92. Cette approche a montré des résultats prometteurs dans la reconstruction de maillages 3D de vertèbres lombaires.

En conclusion, cette thèse présente des méthodes novatrices pour l’extraction automatique des caractéristiques vertébrales à partir des données FH 3D US, ouvrant la voie à l’analyse non invasive des déformations de la colonne vertébrale et facilitant l’application clinique de l’imagerie par ultrasons de la colonne vertébrale. Les méthodes proposées pour extraire les courbes de lamina en 3D appariées et les surfaces osseuses vertébrales, couplées aux protocoles de marquage manuel standardisés, contribuent de manière significative à l’avancement du FH 3D US en tant qu’outil viable pour l’imagerie diagnostique et interventionnelle de la colonne vertébrale.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 91-106).
Mots-clés libres:	anatomie vertébrale, échographie, apprentissage profond, repère vertébral, forme de la colonne
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Laporte, Catherine
Codirecteur:	Codirecteur Cheriet, Farida
Programme:	Doctorat en génie > Génie
Date de dépôt:	06 janv. 2025 14:32
Dernière modification:	06 janv. 2025 14:32
URI:	https://espace.etsmtl.ca/id/eprint/3525

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt