Geometrical learning of brain surface data

Gopinath, Karthik (2021). Geometrical learning of brain surface data. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (15MB) | Prévisualisation

Résumé

Neuronal cell bodies primarily reside in the cerebral cortex. The study of this thin and highly convoluted surface is essential for understanding how the brain works. However, the analysis of surface data is challenging due to the high variability of the cortical geometry. Ignoring this complex geometry poses an unsolved challenge in the statistical analysis of surface data. Most conventional methods rely on a heuristic multi-step process, such as geometrical simplifications and spherical inflations, requiring a considerable computational time. The main objective of this thesis is to develop geometrical frameworks to learn directly on cortical surfaces. Specifically, we first propose a spectral graph convolution network to perform surface analysis applied to cortical parcellation. Next, we present an adaptive pooling technique for surface classification and regression tasks to facilitate a hierarchical learning of multiple surface data. Finally, we illustrate a joint cortical surface reconstruction and segmentation approach to work directly from the MRI volume. This thesis has resulted in three journals and five peer-reviewed conference publications. The individual contributions of this thesis are presented below.

In our first objective, we present a novel approach for learning and exploiting surface data directly across multiple surface domains. Direct learning of surface data via graph convolutions provide a new family of fast algorithms for processing brain surfaces. However, the current limitation of existing state-of-the-art approaches is their inability to compare surface data across different surface domains. Surface representations are indeed incompatible between brain geometries. We leverage the recent advances in spectral graph matching to transfer surface data across aligned spectral domains. This novel approach enables a direct learning of surface data across compatible surface bases. A spectral graph convolution network exploits spectral filters over intrinsic representations of surface neighborhoods. We illustrate the benefits of this approach with an application to brain parcellation. We validate the algorithm over 101 manually labeled brain surfaces. The improvements in parcellation reveal a 29% increase in accuracy with drastic speed gains over conventional methods.

In the second objective, we propose a new learnable graph pooling method for processing multiple surface-valued data to output subject-based information. The presented method innovates by learning an intrinsic aggregation of graph nodes based on graph spectral embedding. We illustrate the advantages of our approach with in-depth experiments on two large-scale benchmark datasets. The ablation study in the chapter illustrates the impact of various factors affecting our learnable pooling method. The flexibility of the pooling strategy is evaluated on four different prediction tasks, namely, subject-sex classification, regression of cortical region sizes, classification of Alzheimer’s disease stages, and brain age regression. Our learnable pooling approach demonstrates improvements ranging from 7% to 11% compared to other pooling techniques for graph convolutional networks, with results improving the state-of-the-art in brain surface analysis.

Our third objective presents an adversarial training strategy for unsupervised domain adaptation to learn surface data across inconsistent graph domains. This novel approach comprises of a segmentator that uses graph convolution layers to enable parcellation across brain surfaces of varying geometry and a discriminator that predicts the alignment-domain of surfaces from their segmentation. The adversarial training learns an alignment-invariant representation that yields consistent parcellations for differently aligned surfaces by fooling the discriminator. Using manually-labeled brain surface from MindBoggle, the largest publicly available dataset of this kind, we demonstrate a 2%–13% improvement in mean Dice over a non-adversarial training strategy for test brain surfaces with no alignment or aligned on a different reference than source examples.

Our fourth final objective proposes SegRecon, an integrated end-to-end deep learning method to jointly reconstruct and segment cortical surfaces directly from an MRI volume in one single step. We train a volume-based neural network to predict, for each voxel, the signed distances to multiple nested surfaces and their corresponding spherical representation in atlas space. This is, for instance, useful for jointly reconstructing and segmenting the white-to-grey-matter interface and the grey-matter-to-CSF (pial) surface. We evaluate the performance of our surface reconstruction and segmentation method with a comprehensive set of experiments on the MindBoggle, ABIDE and OASIS datasets. Our reconstruction error is found to be less than 0.52mm and 0.97mm in terms of average Hausdorff distance to the FreeSurfer generated surfaces. Likewise, the parcellation results show over 4% improvements in average Dice with respect to FreeSurfer, in addition to an observed drastic speed-up from hours to seconds of computation on a standard desktop station.

The work described in this thesis benefits neuroscience studies. Practically, the proposed algorithms will significantly assist clinicians in targeting any particular area of the brain for drug planning and in early prediction of cortical atrophy using the geometry of the complex folding of the cortex and isolate the discriminating geometry linked with the Alzheimer’s disease. Additionally, this thesis can help in fast and accurate surface extraction and parcellation from structural MRI volumes. This work will also reduce financial burdens on patients by providing algorithmic tools for therapeutic research to aid clinicians. In general, the work would be used to find new geometry-based biomarkers for the early detection of the Alzheimer’s disease and assist the understanding of other neurological disorders.

Titre traduit

Apprentissage géométrique de données surfaciques du cerveau

Résumé traduit

Les corps cellulaires de neurones résident principalement dans le cortex cérébral. L’étude de cette fine surface, extrement pliée, est essentielle à la compréhension du fonctionnement du cerveau. Cependant, l’analyse des données surfaciques reste difficile dû à la grande variabilité de la géométrie corticale. Ignorer cette géométrie complexe pose un défi non-résolu pour l’analyse statistique des données surfacique. La plupart des méthodes conventionnelles reposent sur un processus heuristique à plusieurs étapes, telles que les simplifications géométriques et les inflations sphériques, nécessitant un temps de calcul considérable. L’objectif principal de cette thèse est de développer des cadriciels géométriques afin d’apprendre directement des données sur des surfaces corticales. Plus précisément, nous proposons d’abord un réseau de convolution de graphes spectraux pour effectuer une analyse de surface avec une application à la parcellation corticale. Ensuite, nous présentons une technique de regroupement adaptatif (adaptive pooling) pour des tâches de classification et de régression de données sur graphes dans le but de faciliter un apprentissage hiérarchique de données sur des surfaces multiples. Enfin, nous illustrons une approche conjointe de reconstruction et de segmentation de surfaces corticales afin d’exploiter les données de surfaces directement à partir d’un volume IRM. Cette thèse a donné lieu à trois publications dans des journaux et à cinq publications dans des conférences évaluées par les pairs. Les contributions individuelles de cette thèse sont présentées ci-dessous.

Dans notre premier objectif, nous présentons une nouvelle approche pour l’apprentissage et l’exploitation directe de données surfaciques sur de multiples domaines. L’apprentissage direct des données de surface via des convolutions de graphes fournit une nouvelle famille d’algorithmes rapides pour l’analyse de données corticales du cerveau. Cependant, la limite des approches actuelles réside principalement en leur incapacité à comparer les données de surface entre différents domaines de données. Les représentations surfaciques sont en effet incompatibles entre différentes géométries de cerveau. Nous tirons parti des récentes avancées en appariement de graphes spectraux pour faciliter le transfert de données surfacoques entre des domaines spectraux alignés. Cette nouvelle approche permet un apprentissage directement sur des surfaces à l’aide de bases spectrales compatibles. Un réseau de convolution de graphes spectraux peut ainsi exploiter des filtres spectraux sur les représentations intrinsèques de surfaces. Nous illustrons les avantages de cette approche par une application à la parcellation du cerveau. Nous validons l’algorithme sur 101 surfaces cérébrales étiquetées manuellement. Les améliorations de la parcellation indiquent une augmentation de 29% de la précision ainsi que des gains significatifs en capacité computationnelle par rapport aux méthodes conventionnelles.

Dans le deuxième objectif, nous proposons une nouvelle méthode d’apprentissage d’appariement sur graphes (graph pooling) afin de pouvoir aggréguer directement des données sur graphes provenant de multiples sur surfaces. La méthode présentée innove en apprenant une agrégation intrinsèque des noeuds d’un graphe basée sur l’analyse spectrale de graphe. Nous illustrons les avantages de notre approche par des expériences exhaustives sur deux ensembles de données de référence. L’analyse par ablation présentée dans le chapitre illustre l’impact de divers facteurs sur notre méthode d’appariement. La flexibilité de la stratégie d’appariement est évaluée sur quatre tâches de prédiction différentes, à savoir la classification du sexe des sujets, la régression de la taille des régions corticales, la classification des stades de la maladie d’Alzheimer et la régression de l’âge du cerveau. Notre approche d’apprentissage d’appariement présente des améliorations allant de 7 à 11% par rapport à d’autres techniques d’appariement pour les réseaux convolutifs sur graphes, avec des résultats améliorant l’état de l’art de l’analyse de surfaces de cerveau.

Notre troisième objectif présente une stratégie antagoniste à l’adaptation de domaine nonsupervisée afin d’apprendre des données de surface dans des domaines de graphes irréguliers. Cette nouvelle approche comprend un segmenteur qui utilise des couches de convolution de graphes pour permettre la parcellation de surfaces cérébrales à géométrie variable et un discriminateur qui prédit le domaine d’alignement des surfaces à partir de leur segmentation. L’entraînement antagoniste apprend une représentation invariante de l’alignement produisant des parcellations cohérentes pour des surfaces alignées différemment en trompant le discriminateur. En utilisant les surfaces cérébrales étiquetées manuellement de MindBoggle, le plus grand ensemble de données publiques de ce type, nous démontrons une amélioration de 2 à 13% de la moyenne de Dice par rapport à une stratégie d’apprentissage non contradictoire pour les surfaces cérébrales de test sans alignement ou alignées sur une référence différente des exemples sources.

Notre quatrième objectif final propose SegRecon, une méthode d’apprentissage profond intégrée de bout en bout pour reconstruire et segmenter conjointement les surfaces corticales directement à partir d’un volume IRM en une seule étape. Nous entraînons un réseau neuronal basé sur le volume pour prédire, pour chaque voxel, les distances signées à de multiples surfaces imbriquées et leur représentation sphérique correspondante dans l’espace atlasique. Ceci est, par exemple, utile pour reconstruire et segmenter conjointement l’interface matière blanche-matière grise et l’interface matière grise-CSF (pial). Nous évaluons les performances de notre méthode de reconstruction et de segmentation de surface à l’aide d’un ensemble complet d’expériences sur les jeux de données MindBoggle, ABIDE et OASIS. Notre erreur de reconstruction est inférieure à 0.52mm et 0,97mm en termes de distance de Hausdorff moyenne par rapport aux surfaces générées par FreeSurfer. De même, les résultats de la parcellation montrent une amélioration de plus de 4% de la moyenne de Dice par rapport à FreeSurfer, en plus d’une accélération drastique observée, passant de plusieurs heures à quelques secondes de calcul sur une station de bureau standard.

Le travail décrit dans cette thèse profitera aux études en neurosciences. De façon pratique, les algorithmes proposés aideront de manière significative les cliniciens à cibler une zone particulière du cerveau, utiles au développement de médicaments, et à prédire les précurseurs de l’atrophie corticale en exploitant explicitement la géométrie complexe du cortex cérébral et à isoler la géométrie discriminante liée à la maladie d’Alzheimer. De plus, cette thèse peut aider à l’extraction rapide et précise de surfaces et à leur parcellation directement à partir de volumes IRM structurels. Ce travail permettra également de réduire la charge financière des patients en fournissant des outils algorithmiques pour la recherche thérapeutique. D’une manière générale, ce travail sera utilisé pour trouver de nouveaux biomarqueurs basés sur la géométrie pour mieux détecter la maladie d’Alzheimer et pour aider à la compréhension d’autres troubles neurologiques.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 153-170).
Mots-clés libres:	apprentissage profond géométrique, parcellation corticale, regroupement sur graphes, segmentation et reconstruction de surface
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Lombaert, Hervé
Codirecteur:	Codirecteur Desrosiers, Christian
Programme:	Doctorat en génie > Génie
Date de dépôt:	04 févr. 2022 18:00
Dernière modification:	04 févr. 2022 18:00
URI:	https://espace.etsmtl.ca/id/eprint/2865

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt