PSO pour l'apprentissage supervisé des réseaux neuronaux de type fuzzy ARTMAP

Henniges, Philippe (2006). PSO pour l'apprentissage supervisé des réseaux neuronaux de type fuzzy ARTMAP. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (6MB) | Prévisualisation

Résumé

Dans ce mémoire, nous avons étudié les divers comportements d'un type de réseau de neurones en particulier, soit le réseau fuzzy ARTMAP (FAM), dans le but de développer une stratégie d'apprentissage spécialisée pour ce type de réseau. Pour ce faire, nous avons observé les effets de plusieurs caractéristiques sur ce type de réseau, soit: la taille de la base de données d'entraînement, les stratégies d'apprentissage standard, la technique de normalisation, la structure du chevauchement, la polarité du MatchTracking ainsi que l'influence des paramètres internes du réseau fuzzy ARTMAP. Ces effets sont mesurés au niveau de la qualité et des ressources utilisées par le réseau FAM à travers des bases de données synthétiques et réelles.

Nous avons remarqué que le réseau FAM présente une dégradation de performances due à un effet de sur-apprentissage créé par le nombre de patrons d'entraînement et le nombre d'époques d'apprentissage, et ce, avec les bases de données possédant un degré de chevauchement. Pour éviter ce problème, nous avons développé une stratégie d'apprentissage spécialisée pour les réseaux FAM. Celle-ci permet d'améliorer les performances en généralisation en utilisant l'optimisation par essaims particulaires ou PSO (anglais pour "Particle Swarm Optimization") pour optimiser la valeur des quatre paramètres internes FAM (α, β, є et ρ).

Cette stratégie spécialisée obtient lors de toutes nos simulations, tant avec les bases de données synthétiques que réelles, de meilleures performances en généralisation que lors de l'utilisation des stratégies d'apprentissage standard utilisant les paramètres standard des réseaux FAM (MT+, MT-). De plus, elle permet d'éliminer la majorité de l'erreur de sur-apprentissage due à la taille de la base d'entraînement et au nombre d'époques d'apprentissage. Ainsi, cette stratégie spécialisée pour FAM a démontré que la valeur des paramètres internes du réseau FAM a un impact considérable sur les performances du réseau. De plus, pour toutes les bases testées, les valeurs optimisées des paramètres sont généralement toutes éloignées de leurs valeurs standard (MT-et MT+), lesquelles sont majoritairement utilisées lors de l'emploi du réseau FAM.

Cependant, cette stratégie d'apprentissage spécialisée n'est pas consistante avec la philosophie « on-line » de la famille ART, car la valeur des paramètres n'est pas optimisée séquentiellement. Malgré tout, elle permet d'indiquer les zones de performances optimales pouvant être atteintes par le réseau fuzzy ARTMAP. À notre connaissance, c'est la première fois qu'une stratégie d'apprentissage pour FAM utilise l'optimisation des valeurs des quatre paramètres internes de ce réseau.

Titre traduit

PSO supervised learning of fuzzy ARTMAP neural networks

Résumé traduit

The impact on fuzzy ARTMAP neural network performance of decisions taken for batch supervised learning is assessed through computer simulations performed with different pattern recognition problems, like the hand writing numerical characters problem. To do so, we will study the impact of many characteristics on this neural network, such as: the training set size, the training strategies, the normalisation technique, the overlapping structure, the MatchTracking polarity and the impact of the fuzzy ARTMAP parameters. By allowing this network to learn real and synthetic data under various conditions, the extent of performance degradation is compared in terms of generalisation error and resources requirements.

Degradation of fuzzy ARTMAP performance due to overtraining is shown to depend on factors such as the training set size, and the number of training epochs, and occur for pattern recognition problems in which class distributions overlap. As an alternative to the commonly-employed hold-out training strategy, a strategy based on Particle Swarm Optimization (PSO), which determines both network parameters and weights such that generalisation error is minimized, has been introduced.

Through a comprehensive set of simulations, it has been shown that when fuzzy ARTMAP uses the PSO training strategy it produces a significantly lower generalisation error than when it uses typical training strategies. Furthermore, the PSO strategy eliminates degradation of generalisation error due to overtraining resulting from the training set size, number of training epochs, and data set structure. Overall results obtained with the PSO strategy highlight the importance of optimizing parameters (along with weights) for each problem, using a consistent objective function. In fact, the parameters found using this strategy vary significantly according to, e.g., training set size and data set structure, and always differ considerably from the popular choice of parameters that allows to minimize resources.

The PSO strategy is inherently a batch learning mechanism, and as such is not consistent with the ARTMAP philosophy in that parameters cannot be adapted on-the-fly, through on-line, supervised or unsupervised, incrementai leaning. Nonetheless, it reveals the extent to which parameter values can improve generalisation error of fuzzy ARTMAP, and mitigate the performance degradation caused by overtraining. To the best of our knowledge, it is the first time that a training strategy is developed for optimizing the four parameters offuzzy ARTMAP neural network.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise en génie de la production automatisée". Bibliogr.: f. [237]-240. Chap. 1. Optimisation par essaims particulaires avec fuzzy ARTMAP -- Chap. 2. Méthodologie expérimentale -- Chap. 3. Stratégies d'apprentissage standard évaluées sur les bases de données synthétiques -- Chap. 4. Stratégies d'apprentissage spécialisées basées sur l'optimisation des paramètres du réseau fuzzy ARTMAP évaluées sur les bases synthétiques -- Chap. 5. Résultats avec la base réelle NIST SD19.
Mots-clés libres:	Apprentissage, ARTMAP, Base, Caracteristique, FAM, Fuzzy, Neuronal, Neurone, Optimisation, PSO, Reseau, Supervise, Synthetique
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Granger, Éric
Codirecteur:	Codirecteur Sabourin, Robert
Programme:	Maîtrise en ingénierie > Génie de la production automatisée
Date de dépôt:	10 mars 2011 17:07
Dernière modification:	03 nov. 2016 01:19
URI:	https://espace.etsmtl.ca/id/eprint/508

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt