Energy-aware computational offloading using reinforcement learning techniques

Mechennef, Meriem (2023). Energy-aware computational offloading using reinforcement learning techniques. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

In the rapidly evolving landscape of 5G and the emerging 6G era, computational offloading is becoming a game-changer for mobile task execution within edge computing infrastructures. This paradigm shift involves the transfer of resource-intensive computational tasks to external servers nearby in the network, offering the potential for optimized efficiency. Yet, to ensure consistent Quality of Service (QoS) for the numerous users involved, meticulous planning of the offloading decisions should be made, which potentially involves inter-site task transferring to meet the diverse application requirements of mobile users.

In this thesis, our focus extends to a multi-user Multi-Access Edge Computing (MEC) infrastructure with multi-site collaboration, where Mobile Devices (MDs) have the capability to offload their computational tasks to the available Edge Sites (ESs). Our goal is to minimize end-to-end delay experienced by these tasks and the energy consumption of the system. These two important measures collectively constitute the overall cost of the entire system and are fundamental for the user experience. The central challenge is to coordinate these goals, ensuring a seamless convergence of performance optimization, user satisfaction, and energy efficiency.

To tackle this challenge, we introduce a sophisticated two-stage mechanism based on Reinforcement Learning (RL), a cutting-edge approach that enables us to iteratively refine the MDs’ decisions regarding task offloading to ESs, as well as the ESs’ decisions regarding the transfer of tasks between themselves. This iterative optimization process lies at the core of our approach, guiding the seamless coordination of computational tasks to achieve a careful balance between low delays and energy efficiency. The first stage is where individual MDs autonomously determine whether to offload their tasks to the attached ES or execute the tasks locally. This distributed task-offloading decision is done using an iterative RL-based mechanism called Stochastic Learning Automata (SLA). The next stage which ensures load balancing across the edge infrastructure is achieved using an offline-trained Deep Q-Network (DQN) employed at the end of each iteration in the first stage. These two stages are integrated into a multi-round cooperative computational offloading mechanism which iteratively optimizes the decisions made by both the MDs and the ESs, ultimately leading to the stable convergence of the optimization problem.

Our experimental results using different numbers of MDs and ESs show that our framework decreases the delay of the tasks and the energy consumption of MDs. Compared to the solution proposed by prior work which doesn’t support load balancing at edge infrastructure our solution gives better results.

Titre traduit

Déchargement informatique sensible à l’énergie en utilisant des techniques d’apprentissage par renforcement

Résumé traduit

Face à l’évolution rapide de la 5G et à l’avènement de l’ère 6G, le déchargement informatique devient un élément clé pour l’exécution de tâches mobiles au sein des infrastructures de calcul en périphérie. Ce changement de paradigme implique le transfert de tâches de calcul gourmandes en ressources vers des serveurs externes à proximité du réseau, offrant ainsi la possibilité d’optimiser l’efficacité. Cependant, afin d’assurer une qualité de service constante pour les nombreux utilisateurs impliqués, une planification méticuleuse des décisions de déchargement doit être prise, ce qui implique potentiellement un transfert de tâches entre sites pour répondre aux diverses exigences d’application des utilisateurs mobiles.

Dans ce mémoire, notre attention se porte sur une infrastructure informatique de périphérie multi-accès avec multi-utilisateurs et collaboration multi-sites, où les appareils mobiles ont la capacité de décharger leurs tâches informatiques vers les sites en périphérie disponibles. Notre objectif est de minimiser le délai de bout en bout subi par ces tâches et la consommation d’énergie du système. Ces deux mesures cruciales constituent collectivement le coût global de l’ensemble du système et sont fondamentales pour l’expérience de l’utilisateur. Le défi central consiste à coordonner ces objectifs, garantissant une convergence harmonieuse de l’optimisation des performances, de la satisfaction de l’utilisateur et de l’efficacité énergétique.

Pour relever ce défi, nous introduisons un mécanisme sophistiqué en deux étapes basé sur l’apprentissage par renforcement, une approche de pointe qui nous permet d’affiner de manière itérative les décisions des appareils mobiles concernant le déchargement des tâches vers les serveurs en périphérie, ainsi que les décisions de ces derniers concernant le transfert des tâches entre eux. Ce processus itératif d’optimisation est au cœur de notre approche, guidant la coordination fluide des tâches informatiques pour atteindre un équilibre délicat entre de faibles latence et l’efficacité énergétique. La première étape est celle où les appareils mobiles déterminent de manière autonome s’ils doivent décharger leurs tâches vers les serveurs au périphérie auxquels ils sont connectés ou les exécuter localement. Cette décision de déchargement des tâches distribuée est prise en utilisant un mécanisme itératif basé sur l’apprentissage par renforcement appelé Stochastic Learning Automata (SLA). La deuxième étape, qui assure l’équilibrage de la charge sur l’infrastructure en périphérie, est réalisée à l’aide d’un Deep Q-Network (DQN) formé hors ligne et utilisé à la fin de chaque itération de la première étape. Ces deux étapes sont intégrées dans un mécanisme de déchargement informatique coopératif multi-tours qui optimise de manière itérative les décisions prises à la fois par les appareils mobiles et les sites en périphérie, conduisant finalement à la convergence stable du problème d’optimisation.

Nos résultats expérimentaux avec différents nombres d’appareils mobiles et sites en périphérie montrent que notre solution réduit la latence et la consommation d’énergie des appareils mobiles. Comparé à la solution proposée par des travaux antérieurs qui ne prend pas en charge l’équilibrage de la charge au niveau de l’infrastructure en périphérie, notre solution obtient de meilleurs résultats.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in information technology engineering". Comprend des références bibliographiques (pages 55-58).
Mots-clés libres:	déchargement de tâches, répartition de charge, apprentissage par renforcement, automates d’apprentissage stochastique, apprentissage par renforcement profond, minimisation de la latence, minimisation de la consommation d’énergie
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Leivadeas, Aris
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	12 févr. 2024 16:12
Dernière modification:	12 févr. 2024 16:12
URI:	https://espace.etsmtl.ca/id/eprint/3400

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt