Évaluation réaliste de l’apprentissage Few-Shot transductif

Veilleux, Olivier (2022). Évaluation réaliste de l’apprentissage Few-Shot transductif. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

La communauté de l’apprentissage Few-Shot porte un grand intérêt de recherche pour les méthodes transductives. Ces méthodes posent leur inférence en exploitant à la fois les données annotées de la base de support et celles non-annotées de la base de query. Elles ont su surpassé de manière significative les performances des méthodes inductives. Nous remettons en question les performances de ces méthodes par le fait que le processus d’évaluation actuel n’est pas adéquat. Les méthodes sont évaluées en fonction de leur capacité de généralisation afin de classifier correctement les données de la base de query. Dans la littérature actuelle, la distribution des classes des données query est uniforme. Le fait de connaître au préalable la distribution des classes des données à classifier ne reflète pas le défi d’un problème de classification réaliste. De plus, l’inférence de certaines méthodes transductives s’effectuent en exploitant cette fausse information a priori. Afin de générer des tâches de classification aléatoires, nous proposons d’échantillonner les probabilités marginales des classes de la base de query en suivant la distribution de Dirichlet. Nous avons évaluées les méthodes de l’état de l’art sur trois bases de données de référence : mini- Imagenet, tiered-Imagenet et Caltech-UCSD Birds 200 (CUB) et en utilisant deux architectures de réseau de neurones : ResNet-18 et WRN28-10. Toutes les méthodes transductives souffrent de perte de performances lorsqu’évaluées à l’aide de tâches aléatoirement distribuées. Il est également intéressant d’observer que les méthodes les plus performantes dans la littérature de l’apprentissage Few-Shot actuelle sont celles qui souffrent le plus de notre scénario de test, soit en subissant des pertes de performances allant jusqu’à près de 20%. Nous proposons une méthode transductive (a-TIM) ) pour s’attaquer à ce nouveau problème de classification réaliste. Nous utilisons la divergence-a pour généraliser la fonction de coût exploitant l’information mutuelle. Cette forme de divergence est robuste en faisant face à différentes sévérités de déséquilibre de classes. De plus, nos résultats expérimentaux montrent que notre méthode surpassent les performances de toutes les méthodes de l’état de l’art évaluées. Le code de ce projet se trouve dans le répertoire GitHub suivant : https://github.com/oveilleux/Realistic_Transductive_Few_Shot.

Titre traduit

Realistic evaluation of transductive Few-Shot learning

Résumé traduit

The Few-Shot learning community has a strong research interest in transductive methods. Transductive inferance exploits both labeled data from the support set and unlabeled data from the query set. These methods were able to significantly surpass the performance of inductive methods. We question the performances of these methods based on the fact that the current evaluation process might not be adequate. The methods are evaluated based on their ability to generalize in order to correctly classify the query set’s data. In the current literature, the query set’s class distribution is uniform. Knowing beforehand the class distribution of the data to be classified does not reflect the challenge of a realistic classification problem. Moreover, the inference of certain transductive methods is carried out by exploiting this false a priori information. In order to produce random classification tasks, we propose to sample the marginal probabilities of the query set’s classes by following the Dirichlet’s distribution. We evaluated state-of-the-art methods on three benchmarks : mini-Imagenet, tiered-Imagenet, and Caltech-UCSD Birds 200 (CUB) and using two neural network architectures : ResNet-18 and WRN28-10. All transductive methods suffer from performance loss when evaluated on randomly distributed tasks. It’s also interesting to observe that the best performing methods in the current FSL literature are the ones that suffer the most from this test scenario, undergoing performance losses of up to almost 20%. We propose a transductive method (a-TIM) to tackle this new realistic classification problem. We use the a-divergence to generalize the loss function exploiting mutual information. This divergence’s shape is appropriate to deal with different severities of class imbalance. Moreover, our experimental results demonstrate that our method outperforms all corresponding state-of-the-art methods. The code of this project can be found in the following GitHub repository : https://github.com/oveilleux/Realistic_Transductive_Few_Shot.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire". Comprend des références bibliographiques (pages 67-75).
Mots-clés libres:	apprentissage Few-Shot, déséquilibre des classes, distribution de Dirichlet, divergence-a, inférence transductive
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Ben Ayed, Ismail
Programme:	Maîtrise en ingénierie > Génie de la production automatisée
Date de dépôt:	22 juin 2022 17:38
Dernière modification:	22 juin 2022 17:38
URI:	https://espace.etsmtl.ca/id/eprint/3023

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt