Introduction aux réseaux conceptuels appliqués à l’apprentissage automatique des machines

Boucher, Patrice (2023). Introduction aux réseaux conceptuels appliqués à l’apprentissage automatique des machines. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (9MB) | Prévisualisation

Résumé

Cette thèse introduit un modèle d’apprentissage machine, nommée réseau conceptuel, pour encoder les expériences sensorielles d’un système informatique ; avec ses unités (prémices, concepts, concepts structuraux, concepts homogènes, concepts hétérogènes), ainsi que les mécanismes nécessaires à la génération et à l’exploitation des unités du réseau : mécanismes de conceptualisation, genèse, activation et évocation. Formé d’unités interconnectées, nommés concepts, le réseau conceptuel se construit automatiquement à partir de données sensorielles brutes selon une complexité (nombre d’unités et relations entre unités) qui tend à suivre celle des phénomènes sensoriels. Ce faisant, la structure du réseau ne modélise pas les relations entrées/ sorties (contrairement aux approches classiques : réseaux de neurones, SVM, arbres de décision, réseaux bayésiens), mais plutôt les phénomènes observés en tant que tels. Le réseau conceptuel se veut ainsi encoder l’univers phénoménologique du système à partir duquel il est possible de développer plusieurs stratégies pour la reconnaissance de formes, la régression ou éventuellement le contrôle de systèmes robotiques.

Par exemple pour l’objectif de prédiction, un concept-étiquette pour chaque classe peut être ajouté aux entrées sensorielles du réseau. Lors d’une nouvelle expérience, où les concepts qui encodent la structure des observations s’activent plus en particulier, il est possible de prédire la classe en comparant les énergies des différents concepts-étiquettes. Partant de ce principe, nous présentons quelques exemples préliminaires de réseaux conceptuels utilisés pour la reconnaissance de chiffres (écrits et parlés) et pour la reconnaissance du locuteur.

L’avantage du paradigme proposé, par rapport au paradigme traditionnel entré/sortie, est premièrement que le modèle ainsi réalisé peut servir à des tâches quelconques sans nécessiter d’adaptation importante de la structure et des paramètres du réseau, n’étant pas optimisés pour des tâches spécifiques. En second lieu, la construction automatique du réseau permet d’atteindre une complexité structurelle qui se limite à celle des phénomènes observés : avec, potentiellement, des millions d’unités et milliards de connexions. En opposition, encoder des expériences phénoménologiques de complexité inconnue (et potentiellement dynamique) s’avérerait plus difficile avec des modèles dont la structure est fixe ; si tel était l’objectif de ces modèles. Troisièmement, les réseaux conceptuels ont la particularité d’apprendre rapidement avec peu d’exemples. Pour les corpus de grande taille, la gestion du taux d’apprentissage (et la complexité inhérente de la structure) est un défi pour le moment. Les limites et les perspectives à venir y sont discutées.

Titre traduit

Introduction to conceptual networks applied to automatic machine learning

Résumé traduit

This thesis introduces a machine learning model, named conceptual network, to encode the sensory experiences of a computer system ; with the different variants of its units (premises, concepts, structural concepts, homogeneous concepts, heterogeneous concepts), as well as the mechanisms necessary for the generation and exploitation of the network units : conceptualization, genesis, activation and evocation mechanisms. Formed from interconnected units, called concepts, the conceptual network is automatically constructed from raw sensory data according to a complexity (number of units and relations between units) that tends to follow that of sensory phenomena. In doing so, the structure of the network does not model the input/output relations (contrary to classical approaches : neural networks, SVM, decision trees, Bayesian networks), but rather the observed phenomena as such. The conceptual network is thus intended to encode the phenomenological universe of the system from which it is possible to develop several strategies for pattern recognition, regression or possibly the control of robotic systems.

For example, for the prediction objective, a concept-label for each class can be added to the sensory inputs of the network. In a new experiment, where the concepts that encode the structure of the observations are activated more in particular, it is possible to predict the class by comparing the energies of the different concept-labels. Based on this principle, we present some preliminary examples of conceptual networks used for digit recognition (written and spoken) and for speaker recognition.

The advantage of the proposed paradigm, compared to the traditional input/output paradigm, is firstly that the model thus realized can be used for any task without requiring significant adaptation of the structure and parameters of the network, not being optimized for specific tasks. Second, the automatic construction of the network allows to reach a structural complexity that is limited to that of the observed phenomena : with, potentially, millions of units and billions of connections. In contrast, encoding phenomenological experiences of unknown (and potentially dynamic) complexity would be more difficult with models whose structure is fixed ; if that were the objective of these models. Third, conceptual networks have the particularity of learning quickly with few examples. For large corpora, managing the learning rate (and the inherent complexity of the structure) is a challenge at the moment. Limitations and future perspectives are discussed.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thèse présentée à l’École de technologie supérieure comme exigence partielle à l’obtention du doctorat en génie". Comprend des références bibliographiques (pages 89-92).
Mots-clés libres:	réseaux conceptuels, apprentissage profond, reconnaissance de formes, conceptualisation, activation
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cardinal, Patrick
Codirecteur:	Codirecteur Plusquellec, Pierrich
Programme:	Doctorat en génie > Génie
Date de dépôt:	01 févr. 2024 18:56
Dernière modification:	01 févr. 2024 18:56
URI:	https://espace.etsmtl.ca/id/eprint/3364

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt