Deep weakly supervised learning networks for object localization

Murtaza, Shakeeb (2025). Deep weakly supervised learning networks for object localization. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (64MB) | Prévisualisation

Résumé

Visual recognition, encompassing tasks such as object classification, localization, and segmentation, is crucial for different computer vision applications ranging from autonomous driving to medical image analysis. Recent advances in deep neural networks have yielded significant improvements in these tasks. However, the success of these models is heavily attributed to the large amount of annotated data, which are costly and time-consuming to acquire. Additionally, this paradigm is not scalable across different domains, as it is impractical to collect millions of labeled images for every domain in which we want to deploy our deep learning model. To avoid reliance on extensive annotations, the research community has explored different learning paradigms, including semi-supervised, self-supervised, and weakly supervised learning methods. To contribute to this effort, this thesis focuses on weakly supervised learning for object localization. First, we identified the challenges associated with existing methods, followed by the proposal of new directions aimed at improving object localization performance.

DiPS is the first contribution to this thesis; we propose to leverage class-agnostic maps from self-supervised transformers for weakly supervised object localization, where only image-class labels are available. Using different attention maps from self-supervised transformers, we first select a map that contains discriminative regions corresponding to the object of interest for generating object proposals. These proposals are then used to build pseudo-labels by selecting a few background and foreground pixels that fit the model, which is capable of performing both classification and localization tasks. This sampling enables our model to mitigate over-activations and background noise. Extensive experiments on the challenging TelDrone, CUB, OpenImages and ILSVRC datasets show that the proposed method can achieve better localization performance compared to the state-of-the-art methods.

As a second contribution, we introduce text distillation for localization (TeD-Loc), a learning strategy for distilling localization information from CLIP text embeddings into the visual backbone of our model to improve localization performance. Conventional WSOL methods typically extract localization maps from pre-trained classifiers, which tend to focus on the most discriminative object parts and fail to highlight different objects. Recent WSOL methods that leverage vision-language models like CLIP also depend on ground truth class labels or class predictions from external classifiers to generate localization maps, thereby limiting their deployment in different applications. To address these limitations, TeD-Loc distills information from the CLIP text embeddings into the backbone of our vision model. Furthermore, by formulating the problem within a multi-instance learning framework, TeD-Loc enable the model to converge for both object localization and classification tasks. Experimental results show that TeD-Loc achieves state-of-the-art performance.

The third contribution of this thesis is a realistic evaluation protocol for WSOL. As WSOL models are trained using class-level labels, their evaluation, hyperparameter tuning, and selection still rely on a validation set that includes bounding-box annotations. Employing bounding-box annotation for evaluation is not aligned with the WSOL paradigm, leading to overestimating localization performance. For realistic evaluation, we propose to employ pseudo-boxes for a validation set that can obtained from the off-the-shelf region proposal method. Extensive experiments on both natural and medical image datasets show that the performance of the model evaluated using pseudo-boxes is comparable to the performance obtained using manually annotated GT boxes.

Titre traduit

Réseaux d’apprentissage profond faiblement supervisé pour la localisation d’objets

Résumé traduit

La reconnaissance visuelle, qui englobe des tâches telles que la classification, la localisation et la segmentation d’objets, est cruciale pour différentes applications de vision par ordinateur allant de la conduite autonome à l’analyse d’images médicales. Les récentes avancées dans le domaine des réseaux neuronaux profonds ont permis d’améliorer considérablement ces tâches. Cependant, le succès de ces modèles est fortement attribué à la grande quantité de données annotées, dont l’acquisition est coûteuse et prend du temps. En outre, ce paradigme n’est pas extensible à différents domaines, car il n’est pas pratique de collecter des millions d’images étiquetées pour chaque domaine dans lequel nous voulons déployer notre modèle d’apprentissage profond. Pour éviter de dépendre d’annotations étendues, la communauté des chercheurs a exploré différents paradigmes d’apprentissage, y compris les méthodes d’apprentissage semi-supervisé, auto-supervisé et faiblement supervisé. Pour contribuer à cet effort, cette thèse se concentre sur l’apprentissage faiblement supervisé pour la localisation d’objets. Tout d’abord, nous avons identifié les défis associés aux méthodes existantes, suivis par la proposition de nouvelles directions visant à améliorer la performance de la localisation d’objets.

DiPS est la première contribution à cette thèse ; nous proposons d’exploiter les cartes agnostiques en termes de classes des transformateurs auto-supervisés pour la localisation d’objets faiblement supervisée, où seules les étiquettes de classes d’images sont disponibles. En utilisant différentes cartes d’attention provenant de transformateurs auto-supervisés, nous sélectionnons d’abord une carte qui contient des régions discriminantes correspondant à l’objet d’intérêt pour générer des propositions d’objets. Ces propositions sont ensuite utilisées pour construire des pseudoétiquettes en sélectionnant quelques pixels d’arrière-plan et de premier plan qui correspondent au modèle, lequel est capable d’effectuer à la fois des tâches de classification et de localisation. Cet échantillonnage permet à notre modèle d’atténuer les suractivations et le bruit de fond. Des expériences approfondies sur les ensembles de données difficiles TelDrone, CUB, OpenImages et ILSVRC montrent que la méthode proposée permet d’obtenir de meilleures performances de localisation que les méthodes de pointe.

En deuxième lieu, nous introduisons la distillation de texte pour la localisation (TeD-Loc), une stratégie d’apprentissage pour distiller des informations de localisation à partir d’enchâssements de texte CLIP dans la colonne vertébrale visuelle de notre modèle afin d’améliorer les performances de localisation. Les méthodes WSOL conventionnelles extraient généralement des cartes de localisation à partir de classificateurs pré-entraînés, qui ont tendance à se concentrer sur les parties d’objet les plus discriminantes et ne parviennent pas à mettre en évidence les différents objets. Les méthodes WSOL récentes qui s’appuient sur des modèles vision-langage tels que CLIP dépendent également des étiquettes de classe de vérité au sol ou des prédictions de classe des classificateurs externes pour générer des cartes de localisation, ce qui limite leur déploiement dans différentes applications. Pour remédier à ces limitations, TeD-Loc distille des informations à partir de l’intégration de textes CLIP dans l’épine dorsale de notre modèle de vision. En outre, en formulant le problème dans un cadre d’apprentissage multi-instances, TeD-Loc permet au modèle de converger pour les tâches de localisation et de classification d’objets. Les résultats expérimentaux montrent que TeD-Loc atteint des performances de pointe.

La troisième contribution de cette thèse est un protocole d’évaluation réaliste pour WSOL. Comme les modèles WSOL sont formés à partir d’étiquettes au niveau de la classe, leur évaluation, l’ajustement des hyperparamètres et la sélection reposent toujours sur un ensemble de validation qui comprend des annotations de boîtes de délimitation. L’utilisation d’annotations de boîtes de délimitation pour l’évaluation n’est pas conforme au paradigme WSOL, ce qui conduit à une surestimation des performances de localisation. Pour une évaluation réaliste, nous proposons d’utiliser des pseudo-boîtes pour un ensemble de validation qui peut être obtenu à partir de la méthode de proposition de région prête à l’emploi. Des expériences approfondies sur des ensembles de données d’images naturelles et médicales montrent que les performances du modèle évalué à l’aide de pseudo-boîtes sont comparables à celles obtenues à l’aide de boîtes GT annotées manuellement.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 179-201).
Mots-clés libres:	localisation d’objets, localisation d’objets faiblement supervisée, transformateurs de vision, apprentissage auto-supervisé, apprentissage profond
Directeur de mémoire/thèse:	Directeur(-trice) Granger, Éric
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Pedersoli, Marco
Programme:	Doctorat en génie > Génie
Date de dépôt:	09 juill. 2026 13:39
Dernière modification:	09 juill. 2026 13:39
URI:	https://espace.etsmtl.ca/id/eprint/3975

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt