Dynamic optimization of classification systems for adaptive incremental learning

Kapp, Marcelo Nepomoceno (2010). Dynamic optimization of classification systems for adaptive incremental learning. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (51MB) | Prévisualisation
Prévisualisation	PDF Télécharger (8MB) | Prévisualisation

Résumé

An incremental learning system updates itself in response to incoming data without reexamining all the old data. Since classification systems capable of incrementally storing, filtering, and classifying data are economical, in terms of both space and time, which makes them immensely useful for industrial, military, and commercial purposes, interest in designing them is growing. However, the challenge with incremental learning is that classification tasks can no longer be seen as unvarying, since they can actually change with the evolution of the data. These changes in turn cause dynamic changes to occur in the classification system's parameters If such variations are neglected, the overall perfonnance of these systems will be compromised in the future.

In this thesis, on the development of a system capable of incrementally accommodating new data and dynamically tracking new optimum system parameters for self-adaptation, we first address the optimum selection of classifiers over time. We propose a framework which combinesthe power of Swann Intelligence Theory and the conventional grid-search method to progressively identify potential solutions for gradually updating training datasets. The key here is to consider the adjustment of classifier parameters as a dynamic optimization problem that depends on the data available. Specifically, it has been shown that, if the intention is to build efficient Support Vector Machine (SVM) classifiers from sources that provide data gradually and serially, then the best way to do this is to consider model selection as a dynamic process which can evolve and change over time. This means that a number of solutions are required, depending on the knowledge available about the problem and uncertainties in the data. We also investigate measures for evaluating and selecting classifier ensembles composed of SVM classifiers. The measures employed are based on two different theories (diversity and margin)commonly used to understand the success of ensembles. This study has given us valuable insights and helped us to establish confidence-based measures as a tool for the selection of classifier ensembles.

The main contribution of this thesis is a dynamic optimization approach that performs incremental learning in an adaptive fashion by tracking, evolving, and combining optimum hypotheses over time. The approach incorporates various theories, such as dynamic Particle Swann Optimization, incremental Support Vector Machine classifiers, change detection, and dynamic ensemble selection based on classifier confidence levels. Experiments carried out on synthetic and real-world databases demonstrate that the proposed approach outperforms the classification methods often used in incremental learning scenarios.

Titre traduit

Optimisation dynamique pour l'apprentissage incrémental adaptatif des systèmes de classification

Résumé traduit

Lors de l'arrivée de nouvelles données, un systeme d'apprentissage incremental se met a jour automatiquement sans reexaminer les anciennes donnees. Lors d'un apprentissage incremental, les parametres des systemes de classification ne sont plus consideres comme invariants puisqu'ils peuvent evolucr en fonction des donnees entrantes. Ces changemcnts causent des variations dans I'ajustement des parametres du systeme de classification. Si ces variations sont negligees, la performance finale d'un tel systeme pent etre ulterieurement compromise. De tels systemes, adaptes au probleme de classification, sont tres utiles a des fins industrielles ou militaires car ceux-ci sont a la fois rapides d'execution et peu gourmands en memoire. On observe en consequence un interet grandissant a l'elaboration de tels systemes.

L'objectif principal de cette these est de developper un systeme capable de s'adapter de façon incrementale a l'arrivee de nouvelles donnees, de suivre et d'analyser dynamiqucment les parametres du systeme optimal pour ainsi permettre son adaptation automatique a de nouvelles situations. Pour ce faire, nous commen9ons par aborder le probleme de la selection optimale des classificateurs en fonction du temps. Nous proposons une architecture qui combine la puissance de la theorie de l'intelligence des essaims avec la methode plus conventionnelle de recherche par grilles.

Des solutions potentielles sont progressivement identifices et mises en evidence pour des bases de donnees graduellement mises a jour. L'idee principale ici est de considerer l'ajustement des parametres du classificateur comme un probleme d'optimisation dynamique dependant des donnees presentees au systeme de maniere continue. En particulier, nous avons montre que si l'on cherchait a elaborer un classificateur SVM (Support Vector Machines) efficace a partir de sources de donnees differentes, graduelles ou en series, mieux valait considerer le processus de selection de modeles comme un processus dynamique qui pent evoluer et changer Ainsi, les differentes solutions sont adaptees au fil du temps en fonction revolution des connaissances accessibles sur le probleme de classifications et de l'incertitude sur les donnees.

Ensuite, nous etudions aussi des mesures pour revaluation et la selection d'ensembles de classificateurs composes de SVMs. Les mesures employees sont basees sur les theories de la diversite et la marge communement utilisees pour expliquer la performance des ensembles de classificateurs. Cette etude revele des informations precieuses pour l'elaboration de mesures de confiance pouvant servir pour la selection des ensembles de classificateurs.

Finalement, la contribution majeure de cette these est une approche d'optimisation dynamique qui realise un apprentissage incremental et adaptatif en suivant, faisant evoluer et corabinant les hypotheses d'optima en fonction du temps. L'approche fait usage de concepts issus de différentes theories experimentales, telles que l'optiraisation dynamique de particules d'essaims, les classificateurs SVM incrementaux, la detection de changement et la selection dynamique d'ensembles a partir de niveaux de confiance des classificateurs. Des experiences menees sur des bases de donnees synthetiques et reelles montrent que I'approche proposee surpasse les autres methodes de classification souvent utilisees dans des scenarios d'apprentissage incremental.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy". Bibliogr. : f. [160]-170.
Mots-clés libres:	Apprentissage automatique. Intelligence informatique.
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Sabourin, Robert
Codirecteur:	Codirecteur Maupin, Patrick
Programme:	Doctorat en génie > Génie
Date de dépôt:	21 mars 2011 15:17
Dernière modification:	07 févr. 2017 20:47
URI:	https://espace.etsmtl.ca/id/eprint/270

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt