Apprentissage semi-supervisé pour les SVMS et leurs variantes

Adankon, Mathias Mahouzonsou (2009). Apprentissage semi-supervisé pour les SVMS et leurs variantes. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (64MB) | Prévisualisation
Prévisualisation	PDF Télécharger (10MB) | Prévisualisation

Résumé

La reconnaissance de formes est un domaine fort intéressant de l'intelligence artificielle. Pour résoudre les problèmes de reconnaissance de formes, des classifieurs sont construits en utilisant des prototypes de données à reconnaître ainsi que leur classe d'appartenance. On parie d'apprentissage supervisé. Aujourd'hui, face aux importants volumes de données disponibles, le coût de l'étiquetage des données devient très exorbitant. Ainsi, il est impraticable, voir impossible d'étiqueter toutes les données disponibles. Mais puisque, nous savons que la performance d'un classifieur est liée au nombre de données d'apprenfissage, la principale question qui ressort est comment améliorer l'apprentissage d'un classifieur en ajoutant des données non étiquetées à l'ensemble d'apprentissage. La technique d'apprenfissage issue de la réponse à cette quesfion est appelée apprentissage semi- supervisé.

La machine à vecteurs de support(SVM) et sa variante Least-Squares SVM (LS-SVM) sont des classifieurs particuliers basés sur le principe de la maximisation de la marge qui leur confère un fort pouvoir de généralisation. Au cours de nos travaux de recherche, nous avons considéré l'apprentissage semi-supervisé de ces machines. Dès lors, nous avons proposé diverses techniques d'apprentissage de ces machines pour accomplir cette tâche.

Dans un premier temps, nous avons ufilisé l'inférence bayésienne pour estimer les paramètres du modèle et les étiquettes. Ainsi, nous avons élaboré des formulations bayésiennes à un et deux niveau(x) d'inférence, qui sont par la suite appliquées aux SVMs et aux LS-SVMs dans le contexte de l'apprentissage semi-supervisé.

Dans un second temps, nous avons proposé d'améliorer la technique d'auto-apprentissage, en utilisant un classifieur d'approche générative pour aider le principal classifieur discriminant entraîné en semi-supervisé à étiqueter les données. Nous nommons cette stratégie Apprentissage soutenu (Help-Training), et nous l'avons appliqué avec succès aux SVMs et à sa variante LS-SVM.

Nos divers algorithmes d'apprentissage semi-supervisé ont été testés sur des données artificielles et réelles et ont donné des résultats encourageants. Cette validation a été appuyée par une analyse montrant les avantages et les limites de chacun des méthodes développées.

Titre traduit

Semi-supervised learning for SVMS and their variants

Résumé traduit

Pattem recognition problems are solved using classifiers which are machines built by using prototypes of the data to be recognized. Traditionally, machine leaming needs labeled data, as does the training procedure called supervised leaming. Now, labeling, as well as the collection of the data itself, is a process which requires considerable human effort and is therefore very expensive. However, since we know that the larger the number of training samples, the better the performance of the classifier -making assumption that we have a correct classifier model-, the issue becomes finding a way to improve supervised leaming by adding unlabeled data. Training using both labeled and unlabeled data is called semi-supervised learning . In this type of training, the classifier is built by leaming from both labeled and unlabeled data. Hencc, it is not necessary to label ail the data collected in order to train the classifier.

Support vector machine (SVM) and its variant Least-Squares SVM (LS-SVM) are particular discriminative classifiers based on the margin-maximization performing structural risk and have excellent power of generalization. In this work, we consider its use in semi-supervised leaming and propose various algorithms to perform training task for these machines.

First, we use Bayesian approach to infer both the model parameters and the labels for unlabeled data. We develop a one- and two-level Bayesian inference schemes, and perform their application for learning semi-supervised SVM and semi-supervised LS-SVM.

Second, we propose to reinforce self-training strategy by using a generative classifier that may help the main discriminative classifier training in semi-supervised mode to label the unlabeled data. We called this semi-supervised strategy : Help-training, which is applied for training semi-supervised SVM and LS-SVM.

Experimental results on both artificial and real problems show the usefulness of our différent semi-supervised algorithms. Depth analysis of the expérimental results reveals the advantages and the limits of each method.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thèse présentée à l'École de technologie supérieure comme exigence partielle à l'obtention du doctorat en génie". Comprend des réf. bibliogr.
Mots-clés libres:	Machines à vecteurs supports. apprentissage, ls-svm, semi-supervise, svm, variante
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Codirecteur:	Codirecteur Biem, Alain
Programme:	Doctorat en génie > Génie
Date de dépôt:	12 août 2010 12:58
Dernière modification:	21 déc. 2016 16:30
URI:	https://espace.etsmtl.ca/id/eprint/20

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt