Shared-resource Generative Adversarial Network (GAN) training for 5g Ultra Reliable Low Latency Communication (URLLC) deep reinforcement learning augmentation

Mehdipourchari, Kaveh (2024). Shared-resource Generative Adversarial Network (GAN) training for 5g Ultra Reliable Low Latency Communication (URLLC) deep reinforcement learning augmentation. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (760kB) | Prévisualisation

Résumé

Recently, Deep Reinforcement Learning (DRL) has demonstrated exceptional abilities in finding high-quality real-time solutions. Nonetheless, DRL encounters difficulties in managing rare events in wireless communications, primarily because DRL agents lack experience with such situations during their training. This challenge is particularly crucial for 5G ultra-reliable lowlatency communications (URLLC), where rare events can significantly reduce communication reliability.

To address this issue, recent efforts have focused on utilizing data augmentation techniques, such as Generative Adversarial Networks (GANs), to enable DRL agents to learn to handle rare events by exposing them to a diverse range of scenarios. However, training GANs in resourceconstrained 5G networks, like Ultra Dense Networks (UDNs), remains a challenging task due to the substantial computational power required, especially when processing high-dimensional data. Despite its importance, there has been limited attention on effectively training GANs within resource-limited environments.

In this thesis, I introduce a novel architecture and an optimization problem for training GANs in resource-constrained 5G networks. My proposed architecture efficiently shares limited computing and bandwidth resources between the cloud and edge environments for training multiple GANs. Then, the augmented datasets from the trained GANs are combined with real datasets to be used for training DRL models. I present a mathematical model called OGAN, designed to optimize the allocation of computation and communication resources for GAN training, aiming to enhance DRL reliability, a critical aspect of URLLC. Since OGAN is a challenging mixed-integer non-convex problem, I approximate it using the Difference of Convex Functions programming approach and solve it with a Convex-Concave Algorithm. Finally, I carry out extensive simulations to evaluate OGAN’s performance in comparison with two baseline methods.

Titre traduit

Partage des réseaux antagonistes génératifs (GAN) pour l’augmentation de l’apprentissage par renforcement profond dans les communications 5g ultra fiables et à faible latence (URLLC)

Résumé traduit

Récemment, l’apprentissage par renforcement profond (DRL) a démontré sa capacité en résolvant des problèmes hautement complexes en temps réel. Cependant, le DRL rencontre des difficultés en gérant les événements rares dans les communications sans fil, principalement parce que les agents DRL manquent d’expérience avec de telles situations pendant leur entraînement. Ce défi est particulièrement crucial pour les communications ultra-fiables et à faible latence (URLLC) de la 5G, où les événements rares peuvent diminuer significativement la fiabilité de communication.

Pour résoudre ce problème, je me suis concentré sur l’utilisation de techniques d’augmentation de données, surtout les réseaux antagonistes génératifs (GANs), pour permettre aux agents DRL d’apprendre à gérer les événements rares en les exposant à une gamme diversifiée de scénarios. Cependant, l’entraînement des GANs dans les réseaux 5G avec des ressources limitées, comme les réseaux ultra-denses (UDNs), est un défi difficile puisque ces réseaux n’ont pas suffisamment de puissance de calcul pour traiter des données de haute dimension. Malgré son importance, il n’y avait pas encore beaucoup de travaux antécédents portant sur l’entraînement efficace des GANs dans des environnements à ressources limitées.

Dans ce mémoire, je conçois une nouvelle architecture et présente un problème d’optimisation pour entraîner des GANs dans des réseaux 5G à ressources limitées. L’architecture proposée partage efficacement des ressources informatiques et de bande passante limitées entre les environnements de cloud et de périphérie pour entraîner plusieurs GANs simultanément. Ensuite, les données augmentées provenant des GANs sont combinées avec des données réelles pour entraîner des modèles DRL. Mon modèle mathématique appelé OGAN, conçu pour optimiser l’allocation des ressources de calcul et de communication pour entraîner des GANs, afin d’améliorer la fiabilité du DRL, un aspect critique des URLLC.

Puisque OGAN est un problème mixte en nombres entiers non convexe difficile, je l’approximons en utilisant l’approche de programmation par différence de fonctions convexes et le résous avec un algorithme convexe-concave. Enfin, je réalise des expérimentations extensibles pour évaluer sa performance par rapport à deux méthodes de référence.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in electrical engineering". Comprend des références bibliographiques (pages 57-63).
Mots-clés libres:	GAN, URLLC, apprentissage par renforcement profond, allocation des ressources
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Nguyen, Kim Khoa
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	20 févr. 2025 15:20
Dernière modification:	20 févr. 2025 15:20
URI:	https://espace.etsmtl.ca/id/eprint/3537

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt