Backpropagation-free adaptation of vision transformers for robust and efficient 3D and 2D perception

Yazdanpanah, Moslem (2026). Backpropagation-free adaptation of vision transformers for robust and efficient 3D and 2D perception. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (8MB) | Prévisualisation

Résumé

Deep learning models have achieved excellent results in computer vision, especially with the advent of Transformers and large segmentation models. However, these models are often trained under controlled conditions and assume that the training and test data follow the same distribution. In practice, this assumption is rarely satisfied, especially in 3D industrial applications, where sensors, capture conditions, and objects can vary greatly. These domain shifts lead to significant drops in performance and limit the reliability of systems in production.

This thesis focuses on Test Time Adaptation (TTA) in concrete 3D vision and industrial object scenarios. We consider two main settings. The first concerns robust classification of point clouds with 3D Transformers subject to corruptions and domain shifts. The second addresses instance segmentation of “model-based” objects that are never seen during training but are described by CAD models or a few reference views (the MISUO scenario). In both contexts, we face strong constraints: the absence of labels at test time, the impossibility of accessing source data, and the need for methods that are lightweight in terms of computation time and memory.

Our first contribution introduces Purge-Gate, a backpropagation free test-time adaptation method for Transformers on point clouds. The core idea is to operate at the token level. For each token, we estimate how “shifted” it appears with respect to the source distribution, and then remove the most affected tokens before the attention layers. This allows the model to focus its attention on more reliable regions of the point cloud. We propose two variants: PG-SP, which uses source statistics when they are available, and PG-SF, which is completely source-free and uses a prototype derived from the CLS token. Both variants operate without gradients at test time and significantly improve robustness, speed, and memory efficiency on several corrupted 3D benchmarks.

In our second contribution, we revisit the role of Layer Normalization (LN) for test time adaptation of 3D Transformers. We show theoretically that, as the feature dimension and batch size increase, the pre-affine output of LN concentrates around zero mean and unit variance. In this regime, re estimating batch statistics in the style of BatchNorm is unnecessary and can even degrade performance. Based on this analysis, we propose LN-TTA, a simple method that keeps the pre-affine part of LN unchanged and adjusts only the affine parameters (bias and gain) in a single forward pass. LN-TTA is source-free, backpropagation-free, very lightweight computationally, and yields significant gains on several corrupted point cloud suites.

Finally, our third contribution extends these ideas to a more complex setting: instance segmentation of model-based objects that are never seen during training. We present PRISMA, a training free framework that refines prompts for large segmentation models using visual prototypes built from CAD models or multi-view images. PRISMA relies on three complementary modules: (i) a Mask Proposal Generation (MPG) module that uses DINO-style descriptors to propose object-specific regions of interest, (ii) a Self-Grounding module that injects object prototypes into the backbone and separates foreground and background tokens through block-diagonal attention, without retraining, and (iii) a Confidence Weighted (CW) scheme that leverages the segmenter’s internal scores to better rank predictions. On the BOP benchmark, PRISMA improves both the quality and the speed of MISUO segmentation compared to existing methods, while remaining completely training-free.

Overall, this thesis shows that it is possible to make modern 2D/3D vision models more robust and better suited to industrial constraints by relying on simple, analytical, backpropagation-free test-time adaptation mechanisms. By acting directly on normalization, token selection, and the use of visual prototypes, we propose a new toolbox for deploying powerful models in real 3D environments without requiring costly retraining procedures.

Titre traduit

Adaptation sans rétropropagation des Vision Transformers pour une perception 3D et 2D robuste et efficace

Résumé traduit

Les modèles d’apprentissage profond ont obtenu d’excellents résultats en vision par ordinateur, en particulier avec l’arrivée des Transformers et des grands modèles de segmentation. Cependant, ces modèles sont souvent entraînés dans des conditions contrôlées et supposent que les données d’entraînement et de test suivent la même distribution. Dans la pratique, cette hypothèse est rarement vérifiée, surtout dans les applications industrielles en 3D, où les capteurs, les conditions de capture et les objets peuvent fortement varier. Ces décalages de domaine entraînent des chutes de performance importantes et limitent la fiabilité des systèmes en production.

Cette thèse se concentre sur l’Adaptation en Temps de Test (Test-Time Adaptation, TTA) dans des scénarios concrets de vision 3D et d’objets industriels. Nous considérons deux cadres principaux. Le premier concerne la classification robuste de nuages de points avec des Transformers 3D soumis à des corruptions et à des changements de domaine. Le second porte sur la segmentation d’instances d’objets « modèle-basés » jamais vus à l’entraînement, mais décrits par des modèles CAO ou quelques vues de référence (scénario MISUO). Dans ces deux contextes, nous faisons face à des contraintes fortes : absence de labels en phase de test, impossibilité d’accéder aux données sources, et besoin de méthodes légères en temps de calcul et en mémoire.

Notre première contribution introduit Purge-Gate, une méthode d’adaptation en temps de test sans rétropropagation pour les Transformers sur nuages de points. L’idée centrale est de travailler au niveau des tokens. Nous estimons, pour chaque token, à quel point il semble « déplacé » par rapport à la distribution source, puis nous supprimons les tokens les plus affectés avant les couches d’attention. Ainsi, le modèle concentre son attention sur des régions plus fiables du nuage de points. Nous proposons deux variantes : PG-SP, qui exploite des statistiques de la source lorsque celles-ci sont disponibles, et PG-SF, qui est entièrement sans source et utilise un prototype dérivé du token CLS. Ces deux variantes fonctionnent sans gradients en phase de test et améliorent nettement la robustesse, la vitesse et l’efficacité mémoire sur plusieurs benchmarks 3D corrompus.

Dans notre deuxième contribution, nous revisitons le rôle de la Layer Normalization (LN) pour l’adaptation en temps de test des Transformers 3D. Nous montrons théoriquement que, lorsque la dimension des caractéristiques et la taille de lot augmentent, la sortie pré-affine de LN se concentre autour d’une moyenne nulle et d’une variance unitaire. Dans ce régime, ré-estimer des statistiques de lot à la manière de BatchNorm n’est pas nécessaire et peut même dégrader les performances. À partir de cette analyse, nous proposons LN-TTA, une méthode simple qui laisse intacte la partie pré-affine de LN et n’ajuste que les paramètres d’affinité (biais et gain) en une seule passe avant. LN-TTA est sans source, sans rétropropagation, très légère en calcul, et apporte des gains significatifs sur plusieurs suites de nuages de points corrompus.

Enfin, notre troisième contribution étend ces idées à un cadre plus complexe : la segmentation d’instances d’objets modèle-basés jamais vus à l’entraînement. Nous présentons PRISMA, un cadre sans entraînement qui affine les prompts de grands modèles de segmentation à partir de prototypes visuels construits à partir de modèles CAO ou d’images multi-vues. PRISMA s’appuie sur trois modules complémentaires : (i) un module de génération de propositions de masques (MPG) qui utilise des descripteurs de type DINO pour proposer des régions d’intérêt adaptées aux objets, (ii) un module d’auto ancrage (Self-Grounding) qui injecte les prototypes d’objets dans le backbone et sépare tokens de premier plan et d’arrière-plan via une attention bloc-diagonale, sans réentraînement, et (iii) un schéma de pondération par la confiance (CW) qui exploite les scores internes du segmentateur pour mieux classer les prédictions. Sur le benchmark BOP, PRISMA améliore la qualité et la rapidité de la segmentation en MISUO par rapport aux méthodes existantes, tout en restant complètement sans entraînement.

Dans l’ensemble, cette thèse montre qu’il est possible de rendre des modèles modernes de vision 2D/3D plus robustes et plus adaptés aux contraintes industrielles en s’appuyant sur des mécanismes d’adaptation en temps de test simples, analytiques et sans rétropropagation. En travaillant directement sur la normalisation, la sélection de tokens et l’exploitation de prototypes visuels, nous proposons une nouvelle boîte à outils pour déployer des modèles puissants dans des environnements 3D réels, sans nécessiter de coûteux processus de réentraînement.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 129-140).
Mots-clés français:	adaptation en temps de test, sans rétropropagation, Vision Transformers, nuages de points 3D, segmentation d’objets modèle-basés, robustesse aux décalages de domaine, perception industrielle
Directeur de mémoire/thèse:	Directeur(-trice) Desrosiers, Christian
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Ben Ayed, Ismail
Programme:	Doctorat en génie > Génie
Date de dépôt:	05 oct. 2026 18:02
Dernière modification:	05 oct. 2026 18:02
URI:	https://espace.etsmtl.ca/id/eprint/4122

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt