Apprentissage par renforcement flou pour l’auto-adaptation des systèmes conteneurisés en périphérie de réseau

Kanzali, Imen (2021). Apprentissage par renforcement flou pour l’auto-adaptation des systèmes conteneurisés en périphérie de réseau. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

Un des aspects désirés d’une architecture de systèmes conteneurisés auto-adaptative est la nécessité de pouvoir surveiller en permanence l’environnement opérationnel, de détecter et d’observer les anomalies, et de fournir une politique raisonnable de mise à l’échelle, de récupération et de configuration automatique des ressources de traitement afin de répondre dynamiquement à un changement brutal de son environnement opérationnel.

Le comportement d’une architecture de microservices évolue constamment dans le temps, ce qui rend difficile l’utilisation d’un modèle statique pour planifier l’action d’exécution appropriée en cas de détection d’une anomalie.

Pour obtenir les excellents niveaux d’auto-adaptabilité voulus, cette recherche permet de réaliser un modèle d’architecture de microservices suivant le modèle MAPE-K. Notre solution propose une combinaison de l’apprentissage Q, de la logique floue et des réseaux de neurones pour sélectionner dynamiquement l’action d’adaptation qui apporte la plus grande récompense.

La présence d’apprentissage Q flou (FQL) permet d’apprendre et de modifier les règles d’adaptation floues au moment de l’exécution sans nécessité de connaissances préalables. L’implémentation de Réseau Q profond flou (FDQN) dans le contexte du processus d’adaptation améliore l’efficacité de l’adaptation et réduit les risques associés à l’adaptation, notamment la fluctuation des ressources.

L’expérimentation démontre la faisabilité et l’utilité de nos approches. De plus, les résultats montrent que les performances de FDQN sont meilleures que celles de FQL.

Titre traduit

Fuzzy reinforcement learning for self-adaptive containerized systems on the Edge

Résumé traduit

Among the desired aspects of a self-adaptive containerized systems architecture is the need to be able to permanently survey the operational environment, catch and observe anomalies, and provide a good policy for self adaptation, recovery, and configuration of processing resources to dynamically respond to an abrupt change in its operational environment.

The behavior of a microservices architecture is constantly changing over time, making it difficult to use a static model to plan the appropriate runtime action when an anomaly is detected.

To achieve the excellent levels of self-adaptability desired, this research allows us to realize a microservices architecture model following the MAPE-K model. Our solution proposes a combination of Q-learning, fuzzy logic and neural networks to dynamically select the adaptation action that brings the highest reward.

The presence of fuzzy Q-learning (FQL) allows fuzzy adaptation rules to be learned and modified at runtime without the need for prior knowledge. The implementation of Fuzzy Deep Q Network (FDQN) in the context of the adaptation process improves the efficiency of adaptation and reduces the risks associated with adaptation, including resource fluctuation.

The experimentation demonstrates the feasibility and utility of our approaches. Moreover, the results show that the performance of FDQN is better than that of FQL.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire en génie des technologies de l’information". Comprend des références bibliographiques (pages 67-71).
Mots-clés libres:	systèmes auto-adaptatifs, conteneurs, microservice, apprentissage par renforcement, la logique floue, réseaux de neurones, MAPE-K
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Gherbi, Abdelouahed
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	05 avr. 2022 18:46
Dernière modification:	05 avr. 2022 18:46
URI:	https://espace.etsmtl.ca/id/eprint/2949

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt