Gesture-based exploration of 3D medical images in virtual reality

Titov, Andrey (2026). Gesture-based exploration of 3D medical images in virtual reality. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (20MB) | Prévisualisation

Résumé

Virtual reality (VR) is a technology that enables more immersive visualization and newinteraction possibilities compared to a standard desktop computer setup. In this thesis, we explore how VR can be used in the field of medical imaging to improve the visualization of human anatomy. This work focuses on two specific problems in anatomical visualization. For each problem, we examine how VR may help address current limitations or enhance the visualization process. The first problem is depth perception when visualizing cerebral angiographic data, which represents blood vessels inside the brain, or unsegmented data. The second problem is self-occlusion, which occurs when visualizing regions of the human body that are densely packed with organs and tissues, where outer layers of anatomy hide inner regions. We propose gesture-based interactive methods implemented in VR to tackle these two problems.

For angiographic visualization, multiple depth visualization techniques have been developed to improve the readability of such data. Our first goal is to determine how techniques originally designed for 2D screens translate to VR, and how the depth cues provided by VR headsets affect them. We found that the evaluated depth perception techniques showed very few differences when measured with commonly used metrics, which suggests that VR already provides powerful depth cues. However, using study-specific metrics, we observed that variants with greater interactivity, where hand movements modified the visualization, performed better than less interactive variants.

The visualization of datasets with substantial self-occlusion has been the focus of two publications. In both, we study interactive occlusion management in VR to improve data exploration. In the first publication, we propose Contextual Ambient Occlusion, a new implementation of an existing high-quality ambient occlusion technique. This method makes it possible to achieve real-time clipping with dynamically calculated volumetric ambient occlusion at every frame without sacrificing visual quality. The proposed algorithm improves depth perception in volume visualization by leveraging shading cues, thereby facilitating a clearer understanding of the underlying structure. In the second publication, we introduce AnatomyCarve, an interactive segment-aware clipping technique that facilitates exploration of specific segments, understood as pre-labeled anatomical structures obtained by image segmentation, in VR. AnatomyCarve employs the idea of stepwise dissection, making it possible to remove outer tissues layer by layer and reveal inner anatomy. It supports the creation of visualizations similar to anatomical book illustrations and shows high usability and positive ratings for preoperative planning from neurosurgeons and neurosurgical residents.

Our work demonstrates that VR is a promising technology for medical visualization. Our findings indicate that in VR, existing depth cues provide strong perceptual support, but that enhancing interactivity may further improve depth perception. Our results also show that interactive clipping in VR is an effective way to visualize anatomical datasets with strong self-occlusion, enabling clear inspection of both segmented and unsegmented structures through precise control of clipping planes. Overall, this thesis highlights how VR can bridge the gap between visual fidelity and intuitive interaction in medical imaging, offering new pathways toward more effective and immersive exploration of complex anatomical data.

Titre traduit

Exploration gestuelle d’images médicales 3D en réalité virtuelle

Résumé traduit

La réalité virtuelle (RV) est une technologie qui permet une visualisation plus immersive et de nouvelles formes d’interaction que les postes informatiques classiques. Dans cette thèse, nous étudions comment la RV peut améliorer la visualisation de l’anatomie humaine en imagerie médicale. Le travail se concentre sur deux problèmes de visualisation anatomique, la perception de la profondeur et l’auto-occlusion, et examine comment la RV peut aider à dépasser les limites actuelles. La perception de la profondeur est étudiée lors de la visualisation de données angiographiques cérébrales représentant les vaisseaux sanguins du cerveau, ainsi que de volumes non segmentés. L’auto-occlusion apparaît lorsque l’on visualise des régions du corps densément organisées où les couches externes masquent les structures internes. Pour traiter ces deux problèmes, nous proposons des méthodes gestuelles interactives implémentées en RV.

Pour la visualisation angiographique, plusieurs techniques de visualisation de la profondeur ont été développées afin d’améliorer la lisibilité des données. Notre premier objectif est de déterminer comment des techniques initialement conçues pour un écran 2D se transposent en RV et comment les indices de profondeur fournis par les casques affectent la performance des usagers. À l’aide d’une étude utilisateur, nous avons constaté que les techniques évaluées présentent peu de différences lorsqu’elles sont mesurées avec des métriques courantes, ce qui suggère que la RV fournit déjà des indices de profondeur puissants. Toutefois, des métriques spécifiques à l’étude montrent que les variantes plus interactives, où les mouvements de la main modifient la visualisation, produisent de meilleurs résultats que les variantes moins interactives.

La visualisation d’ensembles de données présentant une auto-occlusion importante a été au centre de deux publications, dans lesquelles nous étudions la gestion interactive de l’occlusion en RV afin d’améliorer l’exploration des données. Dans la première, nous proposons Contextual Ambient Occlusion, une nouvelle implémentation d’occlusion ambiante volumétrique permettant un clipping en temps réel tout en recalculant l’occlusion à chaque image sans sacrifier la qualité visuelle. L’algorithme améliore la perception de la profondeur en exploitant des indices d’ombrage et clarifie la structure sous-jacente. Dans la seconde publication, nous introduisons AnatomyCarve, une technique interactive de découpage sensible aux segments qui facilite l’exploration de segments anatomiques préétiquetés. AnatomyCarve met en oeuvre le principe de la dissection par étapes, en retirant couche par couche les tissus externes pour révéler l’anatomie interne et produire des visualisations proches des illustrations de manuels d’anatomie. Cette technique a été jugée facile à utiliser et utile pour la planification préopératoire par des neurochirurgiens et des résidents.

Nous montrons que la RV est une technologie prometteuse pour la visualisation médicale, où les indices de profondeur existants apportent déjà un soutien perceptif solide, mais où une interactivité accrue peut encore renforcer cette perception. Nos résultats indiquent en outre que le découpage interactif est un moyen efficace de visualiser des ensembles de données anatomiques auto-occlus en permettant une inspection claire de structures segmentées et non segmentées. Globalement, la thèse illustre comment la RV rapproche fidélité visuelle et interaction intuitive et ouvre la voie à une exploration plus efficace de données anatomiques immersives.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 147-162).
Mots-clés libres:	imagerie médicale, réalité virtuelle, perception de la profondeur, gestion de l’occlusion, interactivité, interaction humain-machine
Directeur de mémoire/thèse:	Directeur(-trice) Drouin, Simon
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Kersten-Oertel, Marta
Programme:	Doctorat en génie > Génie
Date de dépôt:	03 août 2026 18:23
Dernière modification:	03 août 2026 18:23
URI:	https://espace.etsmtl.ca/id/eprint/4055

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt