Fully automatic CNN-Based personalized 3D femur reconstruction from EOS 2D Bi-planar radiographs

Babazadeh Khameneh, Nahid (2023). Fully automatic CNN-Based personalized 3D femur reconstruction from EOS 2D Bi-planar radiographs. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (9MB) | Prévisualisation

Résumé

Clinical 3D geometric measurements of the lower limb bones such as the femur, in standing position, are crucial in orthopedic pre-operative planning and patient follow-up. In clinical routine, the personalized 3D model reconstruction of the femur is a useful tool for physicians to analyze a complex 3D shape deformation. They use a 3D reconstructed femur to quantify clinical 3D geometric measurements such as size, curvatures, orientations, femoral-tibia rotation, and femoral torsion. 2D bi-planar radiographs-based 3D bone model reconstruction provides an efficient alternative to Computerized Tomography (CT) for orthopedic surgical planning and patient follow-up. CT-scan-based 3D bone model reconstruction methods suffer from high radiation dose, acquisition costs, and operation with patient in reclining position.

In 2D bi-planar radiographs-based 3D model reconstruction, 3D/2D registration is an essential task to establish a geometric relationship between a known prior 3D model and a patient’s 2D bi-planar radiograph. This registration process includes the 3D pose and the 3D shape estimation of bone structures from only two 2D projections, is highly complex due to information loss during 2D projection of 3D bone and the need to solve an inverse problem using 2D projected sparse data. Semi-automatic methods, such as the one employed by the EOS® 3D model reconstruction system, require the manual intervention of an operator for the pose initialization and the shape and scale adjustment of the 3D model to the images. These manual interventions impact the accuracy, time-efficiency, and reproducibility of the approaches. In this thesis, we develop a fully automatic EOS® 2D bi-planar radiographsbased personalized 3D femur reconstruction via deep learning approaches.

The developed fully automatic personalized 3D femur reconstruction workflow crosscuts two main stages. Firstly, 3D bone pose and isotropic scale estimation, and secondly, 3D/2D nonrigid registration (3D shape deformation). In the first stage, an automatic coarse-to-fine 3D/2D similarity registration method is proposed to automatically register a generic 3D model of the femur into EOS® 2D bi-planar radiographs acquired with two different fields of view, full body and whole lower limbs, and patients’ orientations in 0° /90° and 45° /45° . Firstly, a CNN-based semantic segmentation followed by a PCA-based registration is used to initialize the femur’s 3D pose and isotropic scale. Then, CNN-based regressors refine the 3D pose parameters. Then, the second stage deals with local 3D shape and 3D scale deformation by merging CNN-based local 3D displacement and local 3D scale ratio estimation of 17 handles with the Moving Least Square (MLS) deformation to get better fit to the patient’s radiographs.

To validate the first stage, the 3D pose and isotropic scaling errors of the femur are validated in comparison to fuzzy gold standard personalized 3D models of the femur, reconstructed by an expert via a semi-automatic commercial software tool, SterEOS. In the second stage, the accuracy of local 3D shape, 3D scale, and the personalized 3D model of the whole femur is validated on two different validation sets. The first validation set includes 15 fuzzy gold standards of the personalized 3D models of the femur reconstructed via the semi-automatic SterEOS. The mean and standard deviations ሺmean±STDሻ of Root Mean Square of point-tosurface distance errors (RMS-P2S) is ሺ0.88±0.29ሻ mm. The second validation set comprises 5 gold standard personalized CT-scan-based reconstructed 3D model of the femur. The ሺmean±STDሻ of RMS-P2S errors is ሺ2.70±0.39ሻ mm.

Titre traduit

Reconstruction personnalisée 3D entièrement automatique de la fémur basée sur (CNN) à partir de radiographies bi-planaires EOS

Résumé traduit

Les mesures géométriques cliniques 3D des os des membres inférieurs, tels que le fémur en position debout, sont cruciales dans la planification préopératoire orthopédique et le suivi des patients. En routine clinique, la reconstruction personnalisée du modèle 3D du fémur est un outil utile pour les médecins afin d’analyser une déformation de forme 3D complexe. Ils utilisent un fémur reconstruit en 3D pour quantifier les mesures géométriques cliniques en 3D telles que la taille, les courbures, les orientations, la rotation femoro-tibial et la torsion fémorale. La reconstruction de modèles osseux 3D basée sur des radiographies bi-planaires 2D offre une alternative efficace à la tomodensitométrie (CT) pour la planification chirurgicale orthopédique et le suivi des patients. Les méthodes de reconstruction de modèles osseux 3D basées sur la tomodensitométrie souffrent d'une dose de rayonnement élevée, de coûts d'acquisition et d'une opération avec le patient en position allongée.

Dans ce processus de reconstruction 3D, le recalage 3D/2D est généralement une tâche essentielle pour établir une relation géométrique entre un modèle 3D antérieur connu et les radiographies bi-planaires 2D d'un patient. Ce processus du recalage comprend la pose 3D et l'estimation de la forme 3D des structures osseuses à partir de seulement deux projections 2D. Les méthodes semi-automatiques, telles que celle employée par le système de reconstruction de modèles 3D EOS®, nécessitent l'intervention manuelle d'un opérateur pour l'initialisation de la pose et l'ajustement de la forme et de l'échelle du modèle 3D aux images. Ces interventions manuelles ont un impact sur la précision, la rapidité et la reproductibilité des approches. Dans cette thèse, nous développons une reconstruction fémorale 3D entièrement automatique personnalisée basée sur des radiographies bi-planaires EOS® 2D via des approches basées sur l'apprentissage en profondeur et des réseaux neuronaux a convolution (CNN).

Le flux de travail entièrement automatique et personnalisé de reconstruction du fémur 3D développé traverse deux étapes principales. Premièrement, la pose osseuse 3D et l'estimation de l'échelle isotrope, et deuxièmement, la recalage non rigide 3D/2D. Dans un premier temps, une méthode automatique de recalage de similarité 3D/2D de grossier à fin, est proposée pour recaler automatiquement un modèle 3D générique du fémur dans des radiographies biplanaires EOS® 2D acquises avec deux champs de vision différents, soit le corps entier et les membres inférieurs entiers ainsi que les orientations des patients en 0° /90° et 45° /45° .

Lors d’une première étape, une segmentation sémantique basée sur CNN suivie d'un enregistrement basé sur PCA initialise la pose 3D et l'échelle isotrope du fémur. Ensuite, les régresseurs basés sur CNN affinent les paramètres de pose 3D. La deuxième étape traite de la déformation de la forme 3D locale et de l'échelle 3D en fusionnant le déplacement 3D local basé sur CNN et l'estimation des rapports d'échelle 3D locaux de 17 poignées MLS avec la déformation des moindres carrés mobiles (MLS) pour mieux s'adapter aux radiographies du patient.

Pour valider la première étape, les erreurs de pose 3D et de mise à l'échelle isotrope du fémur sont validées par rapport à des modèles 3D personnalisés de référence floue du fémur reconstruits via un outil logiciel commercial semi-automatique, SterEOS. Dans la deuxième étape, la précision de la forme 3D locale, de l'échelle 3D et du modèle 3D personnalisé de l'ensemble du fémur est validée sur deux ensembles de validation différents.

Le premier ensemble de validation comprend 15 étalons-or flous des modèles 3D personnalisés des fémurs reconstruits via une méthode semi-automatique dans SterEOS. La moyenne et les écarts types (moyenne ± STD) de la racine carrée moyenne des erreurs de distance point à surface (RMS-P2S) sont ሺ0.88±0.29ሻ mm. Le deuxième ensemble de validation comprend 5 modèles 3D reconstruits personnalisés à base de tomodensitométrie de référence du fémur. La (moyenne ± STD) des erreurs RMS-P2S est ሺ2.70±0.39ሻ mm.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillement of the requirements for the degree of doctor of philosophy in engineering". Comprend des références bibliographiques (pages 139-145).
Mots-clés libres:	modèle de fémur 3D géométrique personnalisé, radiographies bi-planaires EOS® 2D, estimation de la pose 3D et de l'échelle isotrope, la recalage 3D/2D non rigide, recalage 3D/2D basé sur l'apprentissage en profondeur, régression basée sur le réseaux neuronaux convolution (CNN) modèle, déformation MLS
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Vázquez, Carlos
Codirecteur:	Codirecteur de Guise, Jacques A.
Programme:	Doctorat en génie > Génie
Date de dépôt:	19 juin 2023 13:47
Dernière modification:	31 août 2023 04:00
URI:	https://espace.etsmtl.ca/id/eprint/3241

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt