Adapting heterogeneous ensembles with particle swarm optimization for video face recognition

Connolly, Jean-François (2012). Adapting heterogeneous ensembles with particle swarm optimization for video face recognition. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (5MB) | Prévisualisation
Prévisualisation	PDF Télécharger (4MB) | Prévisualisation

Résumé

In video-based face recognition applications, matching is typically performed by comparing query samples against biometric models (i.e., an individual’s facial model) that is designed with reference samples captured during an enrollment process. Although statistical and neural pattern classifiers may represent a flexible solution to this kind of problem, their performance depends heavily on the availability of representative reference data. With operators involved in the data acquisition process, collection and analysis of reference data is often expensive and time consuming. However, although a limited amount of data is initially available during enrollment, new reference data may be acquired and labeled by an operator over time. Still, due to a limited control over changing operational conditions and personal physiology, classification systems used for video-based face recognition are confronted to complex and changing pattern recognition environments.

This thesis concerns adaptive multiclassifier systems (AMCSs) for incremental learning of new data during enrollment and update of biometric models. To avoid knowledge (facial models) corruption over time, the proposed AMCS uses a supervised incremental learning strategy based on dynamic particle swarm optimization (DPSO) to evolve a swarm of fuzzy ARTMAP (FAM) neural networks in response to new data. As each particle in a FAM hyperparameter search space corresponds to a FAM network, the learning strategy adapts learning dynamics by co-optimizing all their parameters – hyperparameters, weights, and architecture – in order to maximize accuracy, while minimizing computational cost and memory resources. To achieve this, the relationship between the classification and optimization environments is studied and characterized, leading to these additional contributions.

An initial version of this DPSO-based incremental learning strategy was applied to an adaptive classification system (ACS), where the accuracy of a single FAM neural network is maximized. It is shown that the original definition of a classification system capable of supervised incremental learning must be reconsidered in two ways. Not only must a classifier’s learning dynamics be adapted to maintain a high level of performance through time, but some previously acquired learning validation data must also be used during adaptation. It is empirically shown that adapting a FAM during incremental learning constitutes a type III dynamic optimization problem in the search space, where the local optima values and their corresponding position change in time. Results also illustrate the necessity of a long term memory (LTM) to store previously acquired data for unbiased validation and performance estimation.

The DPSO-based incremental learning strategy was then modified to evolve the swarm (or pool) of FAM networks within an AMCS. A key element for the success of ensembles is tackled: classifier diversity. With several correlation and diversity indicators, it is shown that genoVIII type (i.e., hyperparameters) diversity in the optimization environment is correlated with classifier diversity in the classification environment. Following this result, properties of a DPSO algorithm that seeks to maintain genotype particle diversity to detect and follow local optima are exploited to generate and evolve diversified pools of FAMclassifiers. Furthermore, a greedy search algorithm is presented to perform an efficient ensemble selection based on accuracy and genotype diversity. This search algorithm allows for diversified ensembles without evaluating costly classifier diversity indicators, and selected ensembles also yield accuracy comparable to that of reference ensemble-based and batch learning techniques, with only a fraction of the resources.

Finally, after studying the relationship between the classification environment and the search space, the objective space of the optimization environment is also considered. An aggregated dynamical niching particle swarm optimization (ADNPSO) algorithm is presented to guide the FAM networks according two objectives: FAM accuracy and computational cost. Instead of purely solving a multi-objective optimization problem to provide a Pareto-optimal front, the ADNPSO algorithm aims to generate pools of classifiers among which both genotype and phenotype (i.e., objectives) diversity are maximized. ADNPSO thus uses information in the search spaces to guide particles towards different local Pareto-optimal fronts in the objective space. A specialized archive is then used to categorize solutions according to FAMnetwork size and then capture locally non-dominated classifiers. These two components are then integrated to the AMCS through an ADNPSO-based incremental learning strategy.

The AMCSs proposed in this thesis are promising since they create ensembles of classifiers designed with the ADNPSO-based incremental learning strategy and provide a high level of accuracy that is statistically comparable to that obtained through mono-objective optimization and reference batch learning techniques, and yet requires a fraction of the computational cost.

Titre traduit

Évolution d'un système multiclassificateur adaptatif pour reconnaissance de visages à partir de séquences vidéo

Résumé traduit

Lorsqu’appliquée à la reconnaissance de visages à partir de séquences vidéo, la classification consiste typiquement à comparer des échantillons d’origine inconnue à des modèles biométriques (i.e., modèles de visages d’individus) conçus à l’aide d’échantillons de référence acquis à l’aide d’un senseur quelconque durant un processus d’inscription. Bien que les classificateurs neuronaux et statistiques offrent une solution flexible à ce type de problème, leur performance est grandement affectée par la disponibilité de données de référence représentatives. L’implication de personnes réelles durant le processus d’acquisition de données biométriques fait en sorte que la collecte et l’analyse de celles-ci sont souvent coûteuses et laborieuses. Bien qu’un nombre limité de données soit initialement disponible, de nouvelles données peuvent être acquises au fil du temps. Toutefois, l’absence de contrôle sur les conditions d’opération de systèmes de reconnaissance de visages et sur la physiologie des sujets à reconnaître a pour effet de soumettre les classificateurs à des environnements de classification complexes et changeants dans le temps.

Cette thèse aborde le problème en proposant un système de classificateurs multiples adaptatif (AMCS, pour «adaptive multiclassifier system») qui permet un apprentissage incrémental de nouvelles données disponibles durant l’inscription et la mise à jour de modèles biométriques. L’AMCS utilise une stratégie d’apprentissage incrémental supervisé fondée sur l’optimisation dynamique avec essaims de particules (DPSO, pour «dynamic particle swarm optimization») qui permet l’évolution d’un essaim de réseaux de neurones fuzzy ARTMAP (FAM) à l’aide de nouvelles données sans corrompre les connaissances acquises. En associant chaque particule dans un espace de recherche d’hyperparamètres à un réseau FAM, cette dernière adapte la plasticité (ou dynamique d’apprentissage) des classificateurs en co-optimisant tous leurs paramètres – hyperparamètres, poids synaptiques et architecture – afin de maximiser la performance (exactitude), tout en minimisant le coût computationnel et les ressources en mémoire nécessaires. La réalisation de l’AMCS est le résultat de l’étude et de la caractérisation de la relation entre les environnements de classification et l’optimisation définis à l’aide de cette approche.

Une version initiale de la stratégie d’apprentissage incrémental est appliquée à un système de classification adaptatif (ACS, pour «adaptive classification system»), où la performance d’un seul réseau de neurones FAM est maximisée. Dans ce contexte, il est démontré qu’il faut reconsidérer deux aspects de la définition originale d’un système de classification pouvant faire un apprentissage incrémental. Non seulement la dynamique d’apprentissage du classificateur doit être adaptée afin de maintenir un haut niveau de performance dans le temps, mais certaines données acquises précédemment doivent être utilisées durant cette adaptation. La validité de cette nouvelle définition est vérifiée en démontrant empiriquement que l’adaptation de réseaux FAMdurant un apprentissage incrémental constitue un problème d’optimisation dynamique de type III, où la valeur et la position des optima locaux changent dans le temps. Les résultats démontrent également la nécessité d’une mémoire à long terme (LTM, pour «long term memory») qui emmagasine certaines données acquises précédemment à des fins de validation et d’estimation des performances sans biais durant le processus d’apprentissage.

La stratégie d’apprentissage incrémental est ensuite modifiée afin de faire évoluer un essaim (ou une réserve) de réseaux FAM d’un AMCS avec la possibilité d’en faire un ensemble. Ceci permet d’aborder un facteur clé du bon fonctionnement de ceux-ci : la diversité des classificateurs. À l’aide de plusieurs indicateurs de corrélation et de diversité, il est démontré que la diversité génotype (i.e., d’hyperparamètres) dans l’environnement d’optimisation est corrélée avec la diversité des classificateurs dans l’environnement de classification. À partir de ce résultat, les propriétés d’algorithmes DPSO cherchant à maintenir la diversité génotype des particules afin de repérer et suivre les optima locaux sont utilisées pour générer et évoluer un essaim de classificateurs FAM diversifiés. Un algorithme de recherche glouton est alors utilisé afin de sélectionner efficacement un ensemble en fonction de la performance et de la diversité sans l’utilisation d’indicateurs de diversité des classificateurs, coûteux à l’utilisation. Tout en ayant une performance comparable, les ensembles résultants utilisent seulement une fraction des ressources nécessaires aux méthodes de référence fondées sur des ensembles et/ou un apprentissage par groupe («batch»).

Finalement, après avoir principalement étudié la relation entre l’environnement de classification et l’espace de recherche, l’espace des objectifs est également considéré durant la conception d’une dernière version des AMCS et d’une stratégie d’apprentissage incrémental. Un algorithme d’optimisation avec essaim de particules par agrégation et nichage dynamique (ADNPSO, pour «aggregated dynamical niching particle swarm optimization») est présenté afin de guider les réseaux FAMen fonction de deux objectifs : la performance des réseaux FAMet leur coût computationnel. Plutôt que de solutionner un problème d’optimisation multi-objectif afin d’en trouver le front de Pareto optimal, l’algorithme ADNPSO cherche à générer une réserve de classificateurs pour lesquels les diversités génotype et phénotype (i.e., d’objectifs) sont maximisées. L’algorithme ADNPSO guide alors les particules vers les différents fronts de Pareto locaux en utilisant l’information disponible dans l’espace de recherche. Les classificateurs sont ensuite catégorisés selon leur taille et emmagasinés dans une archive spécialisée d’après un critère de non-dominance local. Ces deux composantes sont alors intégrées à l’AMCS avec une stratégie d’apprentissage incrémental fondée sur l’ADNPSO.

L’AMCS est prometteur. Utilisé conjointement avec la stratégie d’apprentissage fondée sur l’ADNPSO dans le but de créer un ensemble de réseaux FAM, celui-ci a offert une performance comparable à celle obtenue avec des méthodes d’ensembles utilisant des combinaisons d’optimisation mono-objectif et d’apprentissage incrémental, pour seulement une fraction du coût computationnel.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based Thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy". Bibliogr. : f. [138]-149.
Mots-clés libres:	Identification biométrique. Reconnaissance des visages (Informatique). Apprentissage incrémental, systèmes multiclassificateurs, ensembles hétérogènes adaptatifs, optimisation dynamique multi-objective, diversité, réseaux de neurones ARTMAP, optimisation par essaims de particles, reconnaissance de visages à partir de séquences vidéo, systèmes biométriques adaptifs
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Granger, Éric
Codirecteur:	Codirecteur Sabourin, Robert
Programme:	Doctorat en génie > Génie
Date de dépôt:	31 oct. 2012 18:30
Dernière modification:	03 mars 2017 00:51
URI:	https://espace.etsmtl.ca/id/eprint/1066

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt