Towards local classifier generation for dynamic selection

Zakane, Hiba (2018). Towards local classifier generation for dynamic selection. Mémoire de maîtrise électronique, Montréal, École de tecnologie supérieure.

Prévisualisation	PDF Télécharger (1MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

Multiple Classifier Systems (MCS) focus on the combination of classifiers to achieve better performance than a single robust one. These systems unravel three major phases: pool of classifiers generation, Static or Dynamic selection and integration. Dynamic Selection (DS) is an active research topic in the field of MCS. It’s based on the selection of the most competent classifier(s), on the fly, for every test sample. To operate, the DS scheme needs to be provided with a pool of classifiers, it will then compute the region of competence defined as a set of the test sample’s nearest neighbors (in most of DS techniques) that determines the competence of the classifiers. The regions of competence located on the decision boundaries are called "indecision regions" and usually contribute into the struggle of DS technique into always selecting the most competent classifiers. On the other hand, Dynamic Selection relies on classifier generation techniques that are meant for static combinations. In other words, these methods adopt a global approach into generating the classifiers, which contradicts the local aspect that defines the dynamic selection scheme.

Therefore, in this work we address the problem of covering the indecision regions with locally competent classifiers in the context of dynamic selection. We propose a system that exploits local information to build classifiers that cross the indecision regions of competence guaranteeing a separation between the samples from different classes (frienemies). We also proposed five novel local selection strategies to construct pools of these classifiers, that is adapted to the Dynamic selection system. In generalization, we rely on the recommendations of our previous work, where an investigation was conducted on the reasons behind the out-performance of the DS techniques over the K-NN classifier even though, most of the techniques rely on the definition of the nearest neighbors as a competence region. It was concluded that DS techniques deal better with instances located in indecision regions according to an instance hardness measure whereas the K-NN is well suited for the samples with a low degree of instance hardness. Therefore, we exploited the concept of the hardness of samples to determine whether to use the K-NN of DS techniques for classification.

Experiments were conducted using several DS techniques under the five proposed pool generation approaches. The results of this research have shown that focusing on a local approach to generate classifiers for Dynamic Selection is a promising path into guaranteeing the existence of locally competent classifiers as it outperformed the results of the literature for certain techniques. When there is no improvement, the results remain comparable to the literature’s. Yet, there is still room for improvement for such approaches and further investigations will be lead towards the local pool generation for Dynamic Selection.

Titre traduit

Vers une génération de bassin de classificateurs adaptée à la sélection dynamique

Résumé traduit

Les systèmes de classificateurs multiples sont axés sur la combinaison des classificateurs, pour obtenir de meilleures performances, par rapport aux performances d’un seul classificateur robuste. Ces systèmes se déroulent en trois phases principales: la génération de bassins de classificateurs, la sélection statique ou dynamique de ces derniers et la phase d’intégration. La sélection dynamique est un sujet de recherche très en vogue au sein de la communauté d’apprentissage machine. Elle se caractérise par la sélection des classificateurs les plus compétents, pour chaque échantillon de test. La sélection dynamique fonctionne en se dotant d’un bassin (pool) de classificateurs, l’estimation du niveau de compétence des classificateurs est généralement faite à partir de la construction du voisinage de l’échantillon à classer pour la plupart des techniques, et cette région locale est appelée région de compétence. Une region de compétence composée d’instances appartenant à différentes classes est appelée : region d’indécision et contribue souvent aux difficultés rencontrées par les méthodes de selection dynamiques de toujours repérer les classificateurs compétents. D’autre part, la sélection dynamique repose sur les méthodes de générations des bassins de classificateurs qui sont conçues pour les approches de combinaison statique. En d’autres termes, ces dernières adoptent une approche globale pour générer les classificateurs, ce qui n’est pas aligné avec l’aspect local qui définit le schéma de la sélection dynamique.

De ce fait, dans ce travail, nous nous concentrons sur la couverture locale des régions d’indécision, par des classificateurs compétents localement pour la sélection dynamique. Nous proposons un système qui exploite l’information locale, dans la création des classificateurs traversant les regions d’indécision en séparant entre les échantillons appartenant aux différentes classes. Nous proposons aussi cinq nouvelles stratégies de sélection locale, pour la construction de bassins de classificateurs adaptés à la sélection dynamique. En généralisation, nous nous fions aux recommandations proposées lors de notre précédent travail, qui portait sur les raisons derrière le surpassement en terme de performances des méthodes de sélection dynamiques en comparaison de l’algorithme des K-plus proches voisins, sachant que ce dernier est exploité dans la définition de la région de compétence, dans la plupart des méthodes de sélection dynamiques. Les expériences ont montré que la sélection dynamique est efficace pour les échantillons situés dans des régions d’indécision, selon une mesure de difficulté de classification d’un échantillon donné, alors que l’algorithme des K-plus proches voisins serait plus adapté pour les échantillons ayant un faible degré de difficulté. Ceci justifie l’utilisation la mesure de difficultés des instances pour déterminer si l’on utilise un algorithme de K-Plus proches voisins ou la selection dynamique pour la classification.

Les expériences ont été menées en utilisant plusieurs méthodes de sélection dynamique sur les cinq stratégies proposées de création de bassins de classificateurs. Les résultats de cette recherche ont montré que la focalisation sur une approche locale pour générer des classificateurs pour la sélection dynamique est une voie prometteuse pour garantir l’existence de classificateurs compétents sur le plan local, car elle fournit des résultats meilleurs à ceux de la littérature et dans le cas contraire, elle présente une équivalence statistique. Cependant, il y a encore place à l’amélioration pour de telles approches qui nous mèneraient à la generation locale de classificateurs adaptés à la sélection dynamique.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master's degree with thesis in automated manufacturing engineering". Comprend des références bibliographiques (pages 95-99).
Mots-clés libres:	apprentissage ensembliste, sélection dynamique, reconnaissance de formes, classificateurs linéaires
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Sabourin, Robert
Codirecteur:	Codirecteur Cavalcanti, George D. C.
Programme:	Maîtrise en ingénierie > Génie de la production automatisée
Date de dépôt:	08 mars 2019 16:26
Dernière modification:	08 mars 2019 16:26
URI:	https://espace.etsmtl.ca/id/eprint/2217

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt