Optimisation de ressources pour la sélection de modèle des SVM

Adankon, Mathias Mahouzonsou (2005). Optimisation de ressources pour la sélection de modèle des SVM. Mémoire de maîtrise électronique, Montréal, École de téchnologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

La sélection de modèle, optimisation des hyper-paramètres, est une étape très importante pour garantir une forte performance aux SVM. Les méthodes de sélection de modèle automatique nécessitent l'inversion de la matrice de Gram-Schmidt ou la résolution d'un problème d'optimisation quadratique supplémentaire, ce qui est très coûteux en temps de calcul et en mémoire lorsque la taille de l'ensemble d'apprentissage devient importante. Dans ce mémoire, nous proposons une méthode rapide basée sur une approximation du gradient de l'erreur empirique avec une technique d'apprentissage incrémental; ce qui réduit les ressources requises en termes de temps de calcul et d'espace mémoire. Notre méthode testée sur des bases de données synthétiques et réelles a produit des résultats probants confirmant notre approche.

Nous avons aussi développé une nouvelle expression pour les SVM avec la formulation de la marge molle «soft margin» L1, ce qui permet d'inclure l'hyper-paramètre C dans les paramètres du noyau.

Titre traduit

Optimizing resources in model selection for SVM

Résumé traduit

Tuning SVM hyperparameters is an important step for achieving a high-performance learning machine. This is usually done by minimizing an estimate of generalization error based on the bounds of the leave-one-out (loo) as radius-margin bound and on the performance measure as GACV, empirical error, etc. These usual automatic methods used to tune the hyperparameters require an inversion of the Gram-Schmidt matrix or a resolution of an extra quadratic programming problem. In the case of a large dataset these methods require the addition of huge amounts of memory and a long CPU time to the already significant resources used in the SVM training.

In this dissertation, we propose a fast method based on an approximation of the gradient of the empirical error along with incremental learning, which reduces the resources required both in terms of processing time and of storage space. With the gradient approximation, we do not need to invert the Gram-Schmidt matrix for computing the gradient of the empirical error. The incremental learning makes it possible to optimize both the parameters of the SVM and the hyperparameters and to drastically save on computing time. We tested our method on many benchmarks which have produced promising results confirming our approach. Furthermore, we notice that the gain time increases when the dataset is large.

We also develop a new expression for SVM with Ll soft- margin formulation that makes it possible to include the hyper-parameter C in the kernel parameters. Then, we can resolve the problem of C differentiation and in certain cases reduce the number of the hyperparameters for model selection.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise en génie de la production automatisée". Bibliogr.: f. [110]-114. Chap. 1. Classifieurs à noyaux et SVM -- Chap. 2. Sélection de modèle pour les SVM : état de l'art -- Chap. 3. Stratégies d'optimisation des ressources -- Chap. 4. Nouvelle formulation du SVM-L1 -- Chap. 5. Expérimentations et discussions.
Mots-clés libres:	Apprentissage pproximation, Calcul, Cout, Gradient, Incremental, Machine, Memoire, Modele, Optimisation, Ressource, Selection, Support, SVM, Vecteur
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Maîtrise en ingénierie > Génie de la production automatisée
Date de dépôt:	26 janv. 2011 15:11
Dernière modification:	31 oct. 2016 23:25
URI:	https://espace.etsmtl.ca/id/eprint/357

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt