La vitrine de diffusion des mémoires et thèses de l'ÉTS
RECHERCHER

Online incremental learning from scratch with application to handwritten gesture recognition

Reznáková, Marta (2017). Online incremental learning from scratch with application to handwritten gesture recognition. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

[img]
Prévisualisation
PDF
Télécharger (1MB) | Prévisualisation
[img]
Prévisualisation
PDF
Télécharger (715kB) | Prévisualisation

Résumé

In recent years we have witnessed a significant growth of data to be processed by machines in order to extract all the knowledge from those data. For agile decision making, the arrival of new data is not bounded by time, and their characteristics may change over time. The knowledge stored in machines needs to be kept up to date. In traditional machine learning, this can be done by re-learning on new data. However, with the constant occurrence of high data volume, the process becomes overloaded, and this kind of task becomes unfeasible. Online learning methods have been proposed not only to help with the processing of high data volume, but also to become more agile and adaptive towards the changing nature of data. Online learning brings simplicity to the updates of the model by decoupling a single update from the whole updating process. Such a learning process is often referred to as incremental learning, where the machine learns by small increments to build the whole knowledge.

The aim of this research is to contribute to online incremental learning for pattern recognition and more specifically, by handwritten symbol recognition. In this work, we focus on specific problems of online learning related to the stability-plasticity dilemma and fast processing. Driven by the application and the focus of this research, we apply our solutions to Neuro-Fuzzy models. The concept of Neuro-Fuzzy modeling is based on dividing the space of inseparable and overlying classes into sub-problems governed by fuzzy rules, where the classification is handled by a simple linear model and then used for a combined result of the model, i.e., only a partially linear one. Each handwritten symbol can be represented by a number of sets of symbols of one class that resemble each other but vary internally. Thus, each class appears difficult to be described by a simple model. By dividing it into a number of simpler problems, the task of describing the class is more feasible, which is our main motivation for choosing Neuro-Fuzzy models.

To contribute to real-time processing, while at the same time maintaining a high recognition rate, we developed Incremental Similarity, a similarity measure using incremental learning and, most importantly, simple updates. Our solution has been applied to a number of models and has shown superior results.

Often, the distribution of the classes is not uniform, i.e., there are blocks of occurrences and non-occurrences of some classes. As a result, if any given class is not used for a period of time, it will be forgotten. Since the models used in our research use Recursive Least Squares, we proposed Elastic Memory Learning, a method for this kind of optimization and, we have achieved significantly better results.

The use of hyper-parameters tends to be a necessity for many models. However, the fixing of these parameters is performed by a cross-validation. In online learning, cross-validation is not possible, especially for real-time learning. In our work we have developed a new model that instead of fixing its hyper-parameters uses them as parameters that are learned in an automatic way according to the changing trends in the data. From there, the whole structure of the model needs to be self-adapted each time, which yields our proposal of a self-organized Neuro-Fuzzy model (SO-ARTIST).

Since online incremental learning learns from one data point at a time, at the beginning there is only one. This is referred to as starting from scratch and leads to low generalization of the model at the beginning of the learning process, i.e., high variance. In our work we integrated a model based on kinematic theory to generate synthetic data into the online learning pipeline, and this has led to significantly lower variance at the initial stage of the learning process.

Altogether, this work has contributed a number of novel methods in the area of online learning that have been published in international journals and presented at international conferences. The main goal of this thesis has been fulfilled and all the objectives have been tackled. Our results have shown significant impact in this area.

Titre traduit

Apprentissage incrémental en ligne avec application à la reconnaissance des gestes manuscrites

Résumé traduit

Ces dernières années, nous avons été témoins d’importante croissance de données traitées par les ordinateurs à travers le monde dans le but d’extraire des connaissances utiles.

Pour une prise de décision rapide, l’arrivée de nouvelles données n’est pas limitée par le temps et leurs caractéristiques peuvent aussi changer avec le temps. Les connaissances stockées dans les machines doivent être mises à jour. Dans l’apprentissage automatique traditionnel, ceci peut être fait par réapprentissage sur les nouvelles données. Cependant, avec la disponibilité constante de volume élevé de données, le processus devient complexe, ce qui rend cette tâche très difficile à réaliser. Des méthodes d’apprentissage en ligne ont été proposées non seulement pour palier au problème de traitement de volume élevé de données, mais aussi pour rendre le système agile et adaptable à la nature des données qui changent dans le temps. L’apprentissage en ligne assure la simplicité de la mise à jour du modèle en découplant mise à jour à la fois de l’ensemble du processus. Un tel processus d’apprentissage est souvent désigné comme apprentissage incrémental, où l’ordinateur apprend par des petits incréments afin de construire l’ensemble global des connaissances.

L’objectif de cette recherche est de contribuer à l’apprentissage incrémental en ligne pour le problème de reconnaissance de formes et plus spécifiquement, la reconnaissance de symbols manuscrits. Dans ce travail, nous nous concentrons sur les problèmes spécifiques de l’apprentissage en ligne ayant un rapport avec le dilemme stabilité-plasticité (stability-plasticity) tout en assurant un traitement rapide. Guidés par l’application et le but de la recherche, nous appliquons nos solutions aux modèles Neuro-Floue (Neuro-Fuzzy). Le concept de modélisation Neuro-floue est basé sur la division de l’espace des classes inséparables superposées en sous-problèmes régis par des règles floues, où le classement est assuré par un modèle linéaire simple à utiliser ensuite pour obtenir un résultat combiné du modèle, à savoir, seulement une partie linéaire. Chaque symbole manuscrit peut être représenté par un certain ensemble de symboles d’une classe qui se ressemblent mais qui varient à l’interne. Ainsi, chaque classe apparaît difficile à décrire par un modèle simple. En la divisant en un certain nombre de problèmes plus simples, la tâche de décrire la classe devient plus faisable, ce qui constitue notre principale motivation pour choisir des modèles Neuro-Floue.

Pour contribuer au traitement en temps réel, tout en maintenant un taux de reconnaissance élevé, nous avons développé la similarité incrémentale, une mesure de similarité utilisant l’apprentissage incrémental et, surtout, des mises à jour simples. Notre solution a été appliquée à un certain nombre de modèles qui a donné des résultats prometteurs.

Souvent, la distribution des classes n’est pas uniforme, c’est-à-dire qu’il y a des blocs d’occurrences et de non-occurrences de certaines classes. Par conséquent, si une classe donnée n’est pas utilisée pendant un certain temps, elle sera oubliée.

Puisque les modèles utilisés dans nos recherches utilisent les moindres carrés récursifs, nous avons proposé la méthode ‘Mémoire élastique d’apprentissage’ (Elastic Memory Learning), une méthode pour ce type d’optimisation qui a permis d’obtenir des résultats significativement meilleurs.

L’utilisation d’hyper-paramètres tend à être une nécessité pour de nombreux modèles. Cependant, la fixation de ces paramètres est réalisée par la validation croisée (cross-validation). Dans l’apprentissage en ligne, la validation croisée n’est pas possible, en particulier pour l’apprentissage en temps réel. Dans notre recherche nous avons développé un nouveau modèle qui, au lieu de fixer ses hyper-paramètres, les utilise comme des paramètres appris de manière automatique selon les tendances changeantes des données. A partir de là, toute la structure du modèle doit être auto-adaptée à chaque fois, ce qui donne notre proposition d’un modèle de Neuro-Floue auto-organisé (SO-ARTIST).

Puisque l’apprentissage incrémental en ligne apprend à partir d’un point de données à la fois; au début il n’y en a qu’un. Ceci est appelé démarrage à partir de zéro et conduit à une faible généralisation du modèle au début du processus d’apprentissage, c’est-à-dire une variance élevée. Dans notre travail, nous avons intégré un modèle basé sur la théorie Cinématique pour générer des données synthétiques dans le pipeline d’apprentissage en ligne, ce qui a conduit à une variance significativement plus faible au stade initial du processus d’apprentissage.

Au total, ce travail a contribué à un certain nombre de nouvelles méthodes dans le domaine de l’apprentissage en ligne qui ont été publiés dans des Journaux internationaux et presents dans des conférences internationales. Le but principal de cette thèse a été atteint et tous les objectifs ont été abordés. Nos résultats ont montré un impact significatif dans ce domaine.

Type de document: Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires: "Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Bibliographie : pages 177-184.
Mots-clés libres: Apprentissage automatique. Reconnaissance des formes (Informatique) Données volumineuses. Systèmes flous. Temps réel (Informatique) Classification automatique (Statistique) Reconnaissance optique des caractères. apprentissage machine, apprentissage en ligne, apprentissage incrémental, modélisation évolutive, systèmes Neuro-Flous, reconnaissance gestuelle manuscrite, SO-ARTIST, similarité incrémentielle, apprentissage de mémoire élastique, génération de données synthétiques
Directeur de mémoire/thèse:
Directeur de mémoire/thèse
Cheriet, Mohamed
Programme: Doctorat en génie > Génie
Date de dépôt: 27 nov. 2017 14:55
Dernière modification: 27 nov. 2017 14:55
URI: http://espace.etsmtl.ca/id/eprint/1973

Actions (Identification requise)

Dernière vérification avant le dépôt Dernière vérification avant le dépôt

Statistique

Plus de statistique...