Sélection automatique de modèle dans les machines à vecteurs de support : application à la reconnaissance d'images de chiffres manuscrits

Ayat, Nedjem Eddine (2004). Sélection automatique de modèle dans les machines à vecteurs de support : application à la reconnaissance d'images de chiffres manuscrits. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (6MB) | Prévisualisation

Résumé

La problématique étudiée dans cette thèse est la sélection de modèle automatique des machines à vecteurs de support (SVM) pour la reconnaissance de chiffres manuscrits. Nous présentons une nouvelle méthodologie de sélection de modèle automatique du SVM sur des données binaires et multiclasse. L'approche permet d'optimiser les paramètres de noyaux et de réduire efficacement la complexité du classifieur en minimisant le nombre de vecteurs de support. Ceci s'accompagne d'une réduction drastique de l'erreur de généralisation.

La méthodologie proposée est basée sur un nouveau critère de sélection de modèle estimant la probabilité d'erreur du SVM. Ce critère est ensuite minimisé en utilisant une procédure efficiente de descente de gradient. La probabilité d'erreur est une erreur empirique estimée sur des observations de validation représentant le même problème de classification. Son calcul utilise les estimations des probabilités à posteriori de ces observations.

Pour des fins de comparaison, nous considérons deux autres critères de sélection de modèle que sont le GACV et le VC. Ce sont deux critères analytiques approximant des bornes supérieures de l'erreur. Pour le premier, nous proposons aussi un nouvel algorithme de minimisation. Les expériences effectuées sur un problème de classification binaire montrent la supériorité du critère de l'erreur empirique et sa capacité à sélectionner adéquatement les hyper-paramètres du SVM. Aussi, le critère garantit la solution de moindre complexité en produisant le plus faible nombre de vecteurs de support.

Par ailleurs, sur des données multiclasses, nous proposons deux approches de sélection automatique de modèle dans la stratégie un-contre-un. La première, dite «approche locale» permet d'optimiser l'ensemble de SVM individuellement en adaptant leurs hyper-paramètres aux données du couple de classes considéré. La deuxième, dite «approche globale», permet d'optimiser simultanément l'ensemble de SVM en prenant en compte le comportement de chacun d'eux. Pour cette dernière, nous proposons de maximiser la vraisemblance des données de validation à travers l'ensemble de SVM en minimisant l'erreur quadratique entre les probabilités à postériori des classes et les probabilités désirées des données. Les deux approches sont validées expérimentalement sur des données réelles issues des bases d'images de chiffres manuscrits arabes USPS et indiens INDCENPARMI.

Titre traduit

Automatic model selection for support vectors machines: application to the recognition of images of handwritten digits

Résumé traduit

This thesis relates to the automatic model selection of Support Vectors Machine (SVM) for the recognition of handwritten digits. We propose a new model selection methodology for the automatic optimization of SVM classifier on binary and multiclass data. The approach allows to optimize the kernel parameters and to reduce efficiently the number of support vectors. This goes along with a drastic reduction of the generalization error.

The proposed methodology suggests to use a new model selection criterion based on the estimation of the probability of error of the SVM classifier. Thereby, the criterion is minimized using an efficient gradient descent framework. The probability of error is an empirical error estimate computed over an independent validation set through the approximation of the posterior probabilities of the data examples.

For the sake of comparison, we consider two other model selection criterions which are GACV and VC. These are algebraic criterions which approximate upper bounds of the expected error. For the former, we also propose a new minimization scheme. The experiments done on a binary classification problem prove that the empirical error criterion is able to choose adequately the SVM hyper-parameters. Moreover, the criterion guarantees a less complex model with the lowest number of support vectors.

We also undertook the problem of SVM kernels optimization when multiple data class labels are available. So, we propose two model selection strategies adapted for the one-against-one data partitioning. A 'local approach' optimizes individually the provided set of pairwise classifiers by adapting their hyper-parameters to the related classes. In the other side, a 'global approach ', allows to optimize simultaneously the whole set of SVM classifiers by taking into account the behavior of each of them. For the latter, we propose to maximize the likelihood of the validation data by minimizing the quadratic error between the estimated classes' posterior probabilities and the desired ones. The approaches are then tested and evaluated on synthetic and real life data. The experiments done on real data include a whole set of experiments on images of handwritten digits from USPS database and of Indian digits from INDCENPARMI database.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thèse présentée à l'École de technologie supérieure comme exigence partielle à l'obtention du doctorat en génie". Bibliogr.: f. [192]-201.
Mots-clés libres:	Automatique, Chiffre, Image, Machine, Manuscrit, Methodologie, Modele, Reconnaissance, Selection, Support, SVM, Vecteur
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Codirecteur:	Codirecteur Suen, Ching Y.
Programme:	Doctorat en génie > Génie
Date de dépôt:	19 avr. 2011 16:14
Dernière modification:	20 oct. 2016 01:25
URI:	https://espace.etsmtl.ca/id/eprint/678

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt