La vitrine de diffusion des mémoires et thèses de l'ÉTS
RECHERCHER

Artificial intelligence-empowered resource management system for fog computing networks

Téléchargements

Téléchargements par mois depuis la dernière année

Baek, Jungyeon (2022). Artificial intelligence-empowered resource management system for fog computing networks. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

[thumbnail of BAEK_Jungyeon.pdf]
Prévisualisation
PDF
Télécharger (3MB) | Prévisualisation

Résumé

Nowadays, technology has become an essential part of human life and the digital world is expanding rapidly and advancing in terms of networking technologies. The rapid increase wireless services and applications is demanding faster and higher-capacity networks. Additionally, the Internet-of-Things (IoT) is fueling the need for massive device connectivity and ultra-reliable and real-time interactions. In this context, fog computing has emerged as an appealing solution to meet these requirements while closely handling growing data demands by bringing cloud computing services closer to end devices and integrating virtualized servers. On the one hand, due to volatile traffic demands and capacity-limited resources (e.g., computation, storage, and batteries), fog networks require a distributed intelligent platform that can adapt to network changes and efficiently manage the execution of complex tasks based on the application requirements. On the other hand, given the fact that computing nodes are relatively close to each other in fog networks, task offloading is particularly useful and enables load balancing by distributing the workload among different nodes throughout the network.

In this thesis, three main objectives for designing distributed intelligent computing networks are considered. The three objectives are scalability, heterogeneity, and quality of service (QoS) management. Specifically, in order to improve resource utilization and network performance, heterogeneity in resources, QoS, and task characteristics are investigated. Meanwhile, hierarchical fog computing architectures are applied to distribute workloads and communications across time and space, enabling flexible management. Moreover, distributed resource management algorithms at the fog nodes, access points (AP), and mobile users (MU), are implemented to optimally manage and allocate resources. In particular, this thesis proposes promising schemes to enable efficient and scalable resource management for fog computing networks using reinforcement learning (RL) and deep learning as primary tools.

In this vein, Chapter 2 studies a joint task offloading and resource allocation problem that considers heterogeneous service tasks in terms of resource characteristics and QoS requirements. We propose a scheme in which each fog node independently finds the optimal task offloading and resource allocation policies in partially-observable environments with the aim of maximizing the processing tasks successfully completed within their time limits. Hence, a deep recurrent RL-based approach is proposed to tackle the challenges associated with incomplete network information and partial observability.

Chapter 3 proposes a novel partial offloading and resource scheduling algorithm for multifog networks where the amount of offloading tasks, computational speed, and CPU utilization level are jointly optimized. Hence, a novel method based on the deep recurrent Q-network is provided to minimize the total energy consumption while maximizing the number of tasks successfully executed with limited bandwidth and CPU resources.

In contrast to Chapters 2 and 3, where decision-makers (fog nodes) are fully decentralized, i.e., independent learners that do not directly communicate with each other, in Chapter 4, APs as the decision-makers learn to communicate with neighboring APs over limited communication channels to coordinate their behavior. In this context, a new actor-critic RL framework is proposed to minimize the overloaded links and servers and overall bandwidth cost. We extend the actor-critic model whereby the critic network is designed for centralized learning by sharing parameters among the APs. In contrast, the individual actor networks in each AP strive to learn the optimal policy only using local information and communication messages. The proposed scheme can advance the development of communication for efficient edge learning and the application of distributed learning algorithms.

Chapter 5 introduces multi-agent reinforcement learning (MARL) and major potential applications of MARL for sixth-generation (6G) networks. As wireless services and applications become more sophisticated and intelligent, it is foreseeable that future wireless networks will become AI-pervasive. Given the ubiquitous AI applications and dynamic wireless communication networks, it is crucial to build AI agents that are capable of adapting to network changes as well as cooperate with each other. This chapter includes a case study of coordinated multiagent resource management in 6G edge computing networks. The study demonstrates the importance of coordination methods to achieve distributed intelligence in 6G networks.

Titre traduit

Système de gestion des ressources basé sur l’intelligence artificielle pour les réseaux informatiques de brouillard

Résumé traduit

De nos jours, la technologie est devenue une partie essentielle de la vie humaine et le monde numérique se développe rapidement et progresse en termes de technologies de mise en réseau. L’augmentation rapide des services et des applications sans fil exige des réseaux plus rapides et de plus grande capacité. De plus, l’Internet des objets (IoT) alimente le besoin d’une connectivité massive des appareils et d’interactions ultra-fiables et en temps réel. Dans ce contexte, l’informatique de brouillard (fog computing) est apparu comme une solution attrayante pour répondre à ces exigences tout en gérant de près les demandes croissantes de données en rapprochant les services de l’informatique dans les nuages (cloud computing) des terminaux et en intégrant des serveurs virtualisés. D’une part, en raison des demandes de trafic volatiles et des ressources limitées en capacité (par exemple, calcul, stockage et batteries), les réseaux de brouillard nécessitent une plate-forme intelligente distribuée qui peut s’adapter aux changements du réseau et gérer efficacement l’exécution de tâches complexes basées sur le exigences de candidature. D’autre part, étant donné que les noeuds de calcul sont relativement proches les uns des autres dans les réseaux de brouillard, le déchargement des tâches est particulièrement utile et permet d’équilibrer la charge en répartissant la charge de travail entre les différents noeuds du réseau.

Dans cette thèse, trois objectifs principaux pour la conception de réseaux informatiques intelligents distribués sont considérés. Les trois objectifs sont l’évolutivité, l’hétérogénéité et la gestion de la qualité de service (QoS). Plus précisément, afin d’améliorer l’utilisation des ressources et les performances du réseau, l’hétérogénéité des ressources, la qualité de service et les caractéristiques des tâches sont étudiées. Pendant ce temps, des architectures hiérarchiques de l’informatique de brouillard sont appliquées pour répartir les charges de travail et les communications dans le temps et dans l’espace, permettant une gestion flexible. De plus, des algorithmes de gestion des ressources distribuées au niveau des noeuds de brouillard, des points d’accès (AP) et des utilisateurs mobiles (MU), sont mis en oeuvre pour gérer et allouer de manière optimale les ressources. En particulier, cette thèse propose des schémas prometteurs pour permettre une gestion des ressources efficace et évolutive pour les réseaux de l’informatique dans les nuages en utilisant l’apprentissage par renforcement (RL) et l’apprentissage profond comme outils principaux.

Dans cette veine, le chapitre 2 étudie le problème mixte de déchargement de tâches et d’allocation de ressources tout en considérant des tâches de service hétérogènes en termes de caractéristiques de ressources et d’exigences de QoS. Nous proposons un schéma dans lequel chaque noeud de brouillard trouve indépendamment les politiques optimales de déchargement des tâches et d’allocation des ressources dans des environnements partiellement observables dans le but de maximiser les tâches de traitement achevées avec succès dans leurs limites de temps. Par conséquent, une approche basée sur le l’apprentissage par renforcement est proposée pour relever les défis associés aux informations de réseau incomplètes et à l’observabilité partielle.

Le chapitre 3 propose un nouvel algorithme de déchargement partiel et de planification des ressources pour les réseaux multi-brouillards où la quantité de tâches de déchargement, la vitesse de calcul et le niveau d’utilisation du processeur sont conjointement optimisés. Par conséquent, une nouvelle méthode basée sur le réseau Q récurrent profond est fournie pour minimiser la consommation d’énergie totale tout en maximisant le nombre de tâches exécutées avec succès avec une bande passante et des ressources unité centrale de traitement (CPU) limitées.

Contrairement aux chapitres 2 et 3, où les décideurs (noeuds de brouillard) sont entièrement décentralisés, c’est-à-dire des apprenants indépendants qui ne communiquent pas directement entre eux, au chapitre 4, les points d’accès, en tant que décideurs, apprennent à communiquer avec les points d’accès voisins via des canaux de communication limités pour coordonner leur comportement. Dans ce contexte, un nouveau cadre l’apprentissage par renforcement acteur-critique est proposé pour minimiser les liens et serveurs surchargés et le coût global de la bande passante. Nous étendons le modèle acteur-critique selon lequel le réseau critique est conçu pour un apprentissage centralisé en partageant des paramètres entre les points d’accès. En revanche, les réseaux d’acteurs individuels dans chaque points d’accès s’efforcent d’apprendre la politique optimale uniquement en utilisant des messages d’information et de communication locaux. Le schéma proposé peut faire progresser le développement de la communication pour un apprentissage efficace de la périphérie (edge learning) et l’application d’algorithmes d’apprentissage distribué.

Le chapitre 5 présente l’apprentissage par renforcement multi-agents (MARL) et les principales applications potentielles de MARL pour les réseaux de sixième génération (6G). À mesure que les services et applications sans fil deviennent plus sophistiqués et intelligents, il est prévisible que les futurs réseaux sans fil deviendront omniprésents par l’intelligence artificielle (IA). Compte tenu des applications d’IA omniprésentes et des réseaux de communication sans fil dynamiques, il est crucial de créer des agents d’IA capables de s’adapter aux changements du réseau et de coopérer les uns avec les autres. Ce chapitre comprend une étude de cas sur la gestion coordonnée des ressources multi-agents dans les réseaux informatiques de périphérie 6G. L’étude démontre l’importance des méthodes de coordination pour obtenir une intelligence distribuée dans les réseaux 6G.

Type de document: Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires: "Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 159-175).
Mots-clés libres: informatiques de brouillard, déchargement des calculs, répartition de charge, apprentissage par renforcement, réseaux de neurones
Directeur de mémoire/thèse:
Directeur de mémoire/thèse
Kaddoum, Georges
Programme: Doctorat en génie > Génie
Date de dépôt: 23 juin 2022 17:37
Dernière modification: 23 juin 2022 17:37
URI: https://espace.etsmtl.ca/id/eprint/3027

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt Dernière vérification avant le dépôt