Meta-learning recommendation system for automating the process of selecting the best pool and a dynamic classifier selection algorithm

Jalalian, Hesam (2023). Meta-learning recommendation system for automating the process of selecting the best pool and a dynamic classifier selection algorithm. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (3MB) | Prévisualisation

Résumé

Multiple Classifier Systems(MCS) have been widely studied as an alternative to improve pattern recognition applications in recent years. An ensemble of classifiers or an MCS produces a better recognition performance than a single classifier, according to several empirical studies. Ensembles consist of classifiers that are individually trained and whose predictions are combined to predict novel instances. According to previous research, an ensemble of classifiers is often more accurate than a single classifier. Dynamic Selection (DS) is considered one of the most effective approaches in the field of Multiple Classifier Systems (MCS). In DS, the choice of base classifiers is made dynamically for each new sample that needs to be classified. Instead of using a fixed set of classifiers for all instances, DS adapts and selects the appropriate classifiers based on the characteristics of each individual sample being classified. For DS methods, a pool of classifiers is employed for classification. The existing pool of classifiers used in dynamic selection methods lacks stability, leading to a significant difference between minimum and maximum classification results when different subsets of the same problem are used for training. Also, pool generation methods with a global perspective tend to generate redundant classifiers, making the system computationally expensive. Such methods may not effectively cover certain regions of the feature space, limiting the performance of dynamic selection methods in selecting the most competent models for specific instances.

In this study, we present an analysis conducted evaluating multiple pool generation schemes when they are used as input of DS techniques. The significance of selecting an optimal pool of classifiers for dynamic selection (DS) algorithms is explored, and global and local perspective pool generation schemes are compared. Several DS techniques were selected based on their superior performance based on dynamic selection literature and are evaluated in this study to address research questions. The following two research questions are of primary importance: Are local pool generation schemes better than global pools? Does the best pool generation scheme depend on the DS algorithm and dataset in question? The study reveals that local pool generation schemes do not consistently achieve better results for dynamic selection. Furthermore, the selection of an appropriate pool of classifiers depends on both the DS method used and dataset characteristics.

Since the above-mentioned analysis reveals that there is no pool generation scheme that can be the best selection for the DS algorithm on all datasets. Therefore, we present a meta-learning automated system to recommend the best pool generation scheme for DS methods for a given dataset. In this algorithm, a meta-model is created by extracting meta-features from datasets and utilizing a meta-target that represents the best DS algorithm’s performance. This meta-model is used to provide three recommendations: predicting a pool generation scheme, a DS method, and a pair recommendation of a pool and DS method simultaneous for a given dataset. Another experiment study is conducted to evaluate the performance of the meta-learning recommendation system, and the results show that the meta-learning recommendation system performs better than selecting a fixed pool of classifiers, a fixed DS method, or a fixed pair of a pool and DS method. In other words, according to the experimental results, meta-learning recommended the best solution with the highest predictive accuracy over the baselines (majority).

The code and data used in this work are available on this project’s GitHub repository: https: //github.com/hesamjalalian/Pool_generation_scheme

Titre traduit

Système de recommandation de méta-apprentissage pour automatiser le processus de sélection du meilleur pool et un classificateur dynamique ou un algorithme de sélection d’ensemble

Résumé traduit

Les méthodes d’ensemble consistent en des classifieurs individuels entraînés indépendamment, dont les prédictions sont combinées pour prédire de nouvelles instances. Les recherches antérieures ont montré qu’un ensemble de classifieurs est souvent plus performant qu’un seul classifieur. La sélection dynamique (DS) est reconnue comme une approche efficace dans le domaine des systèmes de classification multiples (MCS). La DS choisit dynamiquement les classifieurs de base pour chaque nouvel échantillon à classer. Au lieu d’utiliser un ensemble fixe de classifieurs pour toutes les instances, la DS s’adapte et sélectionne les classifieurs appropriés en fonction des caractéristiques de chaque échantillon individuel. Cette étude se concentre sur l’évaluation de différents schémas de génération de pools utilisés en tant qu’entrée pour les techniques de DS. L’importance de la sélection d’un pool optimal de classifieurs pour les algorithmes de DS est explorée, en comparant les schémas de génération de pools globaux et locaux.

L’étude vise à répondre à des questions concernant l’efficacité des méthodes de génération de pools locaux pour la sélection dynamique, la dépendance à l’égard de la sélection du meilleur groupe de classifieurs en fonction de la méthode DS utilisée, et la corrélation entre les résultats de l’ensemble statique et les performances de DS. L’analyse révèle que les schémas de génération de pools locaux ne donnent pas systématiquement de meilleurs résultats pour la sélection. De plus, la sélection d’un groupe approprié de classifieurs dépend à la fois de la méthode DS utilisée et des caractéristiques de l’ensemble de données.

Compte tenu des constatations selon lesquelles il n’existe pas de système de génération de pools universellement efficace pour l’algorithme DS sur l’ensemble des ensembles de données, un système d’apprentissage automatisé est proposé. Ce système vise à recommander le schéma de génération de pool optimal pour les méthodes DS en fonction de l’ensemble de données. L’algorithme crée un méta-modèle en extrayant des méta-caractéristiques des ensembles de données et en utilisant une méta-cible représentant les meilleures performances de l’algorithme DS. Ce méta-modèle fournit des recommandations pour les schémas de génération de pools, les méthodes DS et les paires d’un pool et Méthode DS appariées pour des ensembles de données spécifiques.

Une étude expérimentale est menée pour évaluer les performances du système de recommandation d’apprentissage méta. Les résultats montrent que le système de recommandation d’apprentissage méta surpasse la sélection de pool fixe, les méthodes DS fixes ou les paires fixes d’un pool et Méthode DS. En d’autres termes, les résultats expérimentaux montrent que le système d’apprentissage méta recommande systématiquement la meilleure solution avec la plus grande précision prédictive par rapport aux bases. Cette approche novatrice améliore l’efficacité et l’efficacité de la sélection dynamique de classifieurs dans des tâches de classification complexes.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis". Comprend des références bibliographiques (pages 157-167).
Mots-clés libres:	sélection dynamique, pool de classificateurs, systèmes de classificateurs multiples, apprentissage local, recommandation de méta-apprentissage, complexité des données
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Menelau Cruz, Rafael
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	08 mars 2024 18:45
Dernière modification:	08 mars 2024 18:45
URI:	https://espace.etsmtl.ca/id/eprint/3428

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt