Large-margin representation learning for small-size datasets

de Matos, Jonathan (2023). Large-margin representation learning for small-size datasets. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (13MB) | Prévisualisation

Résumé

This work presents a novel approach combining convolutional layers (CLs) and large-margin metric learning for training supervised models on small-size datasets. This approach has four main components: i) a set of CLs with a global average pooling; ii) an instance selection method to choose anchors and instances of interest; iii) a loss function to induce the weight update of the CLs; iv) a large-margin discriminant. Images are provided to the CLs to generate a latent representation and then used to train a large-margin discriminant. The information of the discriminant (support vectors and predictions) aids in selecting anchors and instances of interest to build a loss function that aims to minimize the distance between chosen samples. The weight update using the loss function seeks to change the latent representation to increase the margin between classes. The proposed method’s advantage is that it can train a filter bank with a small amount of data due to the reduced number of parameters. It also has reduced training costs since only a subset of instances is used in the backpropagation algorithm. Experimental results with a synthetic dataset, a texture image dataset, and three histopathologic image datasets (with textural characteristics) showed that the proposed method converges within a few epochs. It also has a low computational cost, produces close or superior accuracy results than equivalent methods, deals well with imbalanced data, and can adapt the filters to different textures.

Titre traduit

Apprentissage de représentation à large-marge pour ensembles de données de petite taille

Résumé traduit

Ce travail présente une nouvelle approche combinant des couches convolutives et un apprentissage métrique à large marge pour l’apprentissage de modèles supervisés sur des ensembles de données de petite taille. Cette approche comporte quatre composantes principales : i) un ensemble de couches convolutives avec une couche de mis-en-commun par moyenne globale; ii) une méthode de sélection d’instances pour choisir des ancres et les instances d’intérêt; iii) une fonction de perte pour induire la mise à jour du poids des couches convolutives; iv) un discriminant à large marge. Les images sont fournies aux couches convolutives pour générer une représentation latente, puis utilisées pour entraîner un discriminant à large marge. Les informations du discriminant (vecteurs de support et prédictions) aident à sélectionner des ancres et des instances d’intérêt pour construire une fonction de perte qui vise à minimiser la distance entre les échantillons choisis. La mise à jour du poids à l’aide de la fonction de perte cherche à modifier la représentation latente pour augmenter la marge entre les classes. L’avantage de la méthode proposée est qu’elle peut entraîner une banque de filtres avec une petite quantité de données en raison du nombre réduit de paramètres. Il amène aussi à des coûts d’entraînement réduit puisque seul un sous-ensemble d’instances est utilisé dans l’algorithme de rétropropagation. Les résultats expérimentaux avec un ensemble de données synthétiques, un ensemble de données d’images de texture et trois ensembles de données d’images histopathologiques (avec des caractéristiques de texture) montrent que la méthode proposée converge rapidement, en quelques époques. De plus, les autres avantages sont le faible coût de calcul, des précisions proches ou supérieures à ceux des méthodes équivalentes, un traitement satisfaisant des données déséquilibrées et l’adaptation des filtres à différents types de textures.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 123-132).
Mots-clés libres:	discriminant à large-marge, couches convolutives, points d’ancrage, fonction de perte, images de texture
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Lameiras Koerich, Alessandro
Codirecteur:	Codirecteur de Souza Britto, Alceu Jr.
Programme:	Doctorat en génie > Génie
Date de dépôt:	02 oct. 2023 15:20
Dernière modification:	02 oct. 2023 15:20
URI:	https://espace.etsmtl.ca/id/eprint/3287

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt