Intelligent framework for radio resource management for future heterogeneous wireless networks

Belhadj Mohamed, Nahed (2026). Intelligent framework for radio resource management for future heterogeneous wireless networks. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

With the rapid growth of the number of Internet of Things (IoT) devices, efficient resource allocation becomes increasingly critical to ensure reliable, scalable, and energy-efficient communication. However, heterogeneity of IoT devices, dense network deployments, and the presence of hardware impairments (HWIs) pose significant challenges to conventional resource allocation strategies. IoT networks require a distributed and intelligent platform capable of adapting to dynamic network conditions while managing execution of complex tasks based on diverse application requirements.

In this thesis, we advance the state-of-the-art in radio resource allocation for IoT networks by addressing the combined impact of interference and HWIs. We propose novel optimization frameworks that enhance resource management in IoT networks under time-varying channel conditions and HWI-induced distortions caused by non-ideal devices. Conventional deterministic optimization approaches available to date fail to provide optimal solutions in the presence of such stochastic and unknown impairments that are hard to model and predict. Classical machine learning techniques are also limited, as they typically rely on supervised learning and static datasets, making them unsuitable for sequential decision-making in dynamic environments. Reinforcement learning (RL) overcomes this limitation by enabling agents to learn optimal policies through interaction with the environment without requiring explicit models. However, standard RL methods do not scale well to high-dimensional state and action spaces encountered in large scale IoT networks. To address this, we adopt deep RL (DRL), which leverages deep neural networks as function approximators to capture complex, non-linear relationships and enable scalable decision-making. This makes DRL essential for learning adaptive and efficient resource allocation policies in realistic IoT scenarios.

In Chapter 2, we address the power allocation problem in downlink fog radio access networks-enabled IoT networks, taking into account both HWIs and co-channel interference. Specifically, we propose a distributed resource allocation framework in which each fog access point operates as a DRL agent. These agents dynamically adjust the transmit power of associated devices based on observed network states, with the objective of maximizing overall spectral efficiency. To further enhance learning performance and decision making accuracy, we integrate an ensemble learning strategy enabling the selection of the best-performing model among a set of trained DRL policies. This integration significantly improves convergence speed and robustness in dynamic network environments.

However, while Chapter 2 focuses on maximizing the network capacity of IoT networks under the assumption of transmitting long (theoretically infinite-length) codewords, in delay-constrained IoT networks, the message lengths are typically short, making this assumption impractical. Accordingly, Chapters 3 and 4 focus on the joint clustering and power allocation problem in Industrial Internet of Things networks, accounting for finite blocklength constraints, HWIs, and co-channel interference. To this end, we propose a two-step distributed framework that integrates clustering and power management. In the first step, a greedy clustering algorithm is introduced to group devices into multiple clusters. Greedy clustering is adopted due to its low computational complexity, scalability, and ability to operate with limited local information, making it well-suited for dynamic IoT environments. To address the power allocation problem, we then develop a multi-agent DRL (MADRL)-based algorithm where each cluster operates as an independent agent. This decentralized approach is found to enhance network scalability and performance while ensuring adaptability to dynamic and heterogeneous wireless environments.

Finally, Chapter 5 explores resource allocation in multi-radio access technology IoT networks, addressing both adjacent channel interference and HWIs. Motivated by the decentralized integration of artificial intelligence in sixth-generation IoT systems, we develop a MADRL framework where each IoT device acts as an autonomous agent. These agents continuously learn optimal resource allocation policies—including modulation, transmit power, and coding rate—based on local observations. To facilitate safe and efficient training, we employ a digital twin network enabling the agents to learn in a simulated, risk-free environment. Unlike existing approaches that treat access points or clusters as agents, our framework models each device as an independent learner, thereby enhancing flexibility, scalability, and adaptability. This contribution supports the evolution of intelligent, self-organizing IoT systems and advances the application of distributed learning algorithms in complex, heterogeneous wireless environments.

Titre traduit

Cadre intelligent pour la gestion des ressources radio dans les futurs réseaux sans fil hétérogènes

Résumé traduit

Avec la croissance rapide du nombre d’appareils liés à l’Internet des objets (IoT), l'allocation efficace des ressources devient de plus en plus cruciale afin de garantir une communication fiable, évolutive et écoénergétique. Cependant, l’hétérogénéité des dispositifs IoT, les déploiements de réseaux denses et la présence d'imperfections matérielles (HWIs) posent d’importants défis aux stratégies d'allocation de ressources conventionnelles. Les réseaux IoT nécessitent une plateforme distribuée et intelligente, capable de s’adapter aux conditions dynamiques du réseau tout en assurant l’exécution de tâches complexes selon les exigences variées des applications.

Dans cette thèse, nous faisons progresser l’état de l’art en matière d’allocation de ressources radio pour les réseaux IoT en abordant l’impact combiné de l’interférence et des HWIs. Nous proposons de nouvelles plateformes d’optimisation visant à améliorer la gestion des ressources dans les réseaux IoT, en tenant compte de la variabilité temporelle des canaux et des altérations matérielles induites par des dispositifs non idéaux. Les approches d'optimisation déterministes classiques disponibles à ce jour ne parviennent pas à fournir des solutions optimales en présence de telles altérations stochastiques et inconnues, qui sont difficiles à modéliser et à prévoir. Les techniques classiques d'apprentissage automatique présentent également des limites, car elles reposent généralement sur un apprentissage supervisé et des ensembles de données statiques, ce qui les rend inadaptées à la prise de décision séquentielle dans des environnements dynamiques. L’apprentissage par renforcement (RL) permet de surmonter cette limitation en permettant aux agents d’apprendre des politiques optimales par interaction avec l’environnement, sans nécessiter de modèles explicites. Cependant, les méthodes RL standards ne passent pas bien à l’échelle lorsqu'elles sont confrontées à des espaces d’états et d’actions de grande dimension, comme ceux rencontrés dans les réseaux IoT à grande échelle. Pour répondre à ce défi, nous adoptons l’apprentissage par renforcement profond (DRL), qui exploite des réseaux de neurones profonds comme approximateurs de fonctions afin de capturer des relations complexes et non linéaires et de permettre une prise de décision scalable. Cela rend le DRL particulièrement adapté pour apprendre des politiques d’allocation de ressources à la fois adaptatives et efficaces dans des scénarios IoT réalistes.

Le Chapitre 2 aborde le problème de l’allocation de puissance en liaison descendante dans les réseaux d’accès radio en brouillard intégrés aux réseaux IoT, en tenant compte à la fois des HWIs et des interférences co-canal. Plus précisément, nous proposons une plateforme d’allocation de ressources distribuée dans laquelle chaque point d’accès en brouillard fonctionne comme un agent DRL. Ces agents ajustent dynamiquement la puissance d’émission des dispositifs associés en fonction des états observés du réseau, dans le but de maximiser l’efficacité spectrale globale. Pour améliorer davantage la performance de l’apprentissage et la précision des décisions, nous intégrons une stratégie d'apprentissage par ensemble permettant de sélectionner le modèle DRL le plus performant parmi un ensemble de politiques entrainées. Cette intégration améliore significativement la vitesse de convergence et la robustesse dans des environnements réseau dynamiques.

Cependant, bien que le Chapitre 2 se concentre sur la maximisation de la capacité réseau des réseaux IoT en supposant la transmission de codes longs (de longueur théoriquement infinie), cette hypothèse devient impraticable dans les réseaux IoT soumis à des contraintes de délai ou les messages sont généralement de courte longueur. En conséquence, les Chapitres 3 et 4 s’attaquent au problème conjoint de regroupement et d’allocation de puissance dans les réseaux industriels de l’Internet des objets, en tenant compte des contraintes de longueur de bloc finie, des HWIs et des interférences co-canal. À cet effet, nous proposons une plateforme distribuée en deux étapes intégrant le regroupement et la gestion de puissance. Dans un premier temps, un algorithme de regroupement glouton est introduit pour organiser les dispositifs en plusieurs groupes. Le clustering glouton est adopté en raison de sa faible complexité computationnelle, de sa scalabilité et de sa capacite à fonctionner avec des informations locales limitées. Pour résoudre le problème d’allocation de puissance, nous développons ensuite un algorithme basé sur l’apprentissage par renforcement profond multi-agent (MADRL) dans lequel chaque groupe agit en tant qu'agent autonome. Cette approche décentralisée améliore l’évolutivité et les performances du réseau tout en assurant une adaptation aux environnements sans fil dynamiques et hétérogènes.

Enfin, le Chapitre 5 explore l’allocation de ressources dans les réseaux IoT à technologies d’accès radio multiples, en traitant à la fois les interférences de canaux adjacents et les HWIs. Motivés par l’intégration décentralisée de l’intelligence artificielle dans les systèmes IoT de sixième génération, nous développons une plateforme MADRL dans laquelle chaque dispositif IoT agit comme un agent autonome. Ces agents apprennent continuellement des politiques optimales d’allocation de ressources — y compris la modulation, la puissance d’émission et le taux de codage— à partir d’observations locales. Pour permettre un apprentissage sécurisé et efficace, nous utilisons un réseau jumeau numérique qui permet aux agents d’apprendre dans un environnement simulé et sans risque. Contrairement aux approches existantes qui considèrent les points d’accès ou les groupes comme agents, notre plateforme modélise chaque dispositif comme un apprenant indépendant, renforçant ainsi la flexibilité, l’évolutivité et la capacité d’adaptation. Cette contribution soutient l'évolution vers des systèmes IoT intelligents et auto-organisés, et fait progresser l'application des algorithmes d’apprentissage distribué dans des environnements sans fil complexes et hétérogènes.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 199-218).
Mots-clés libres:	apprentissage par renforcement profond, imperfections matérielles, interférences, réseaux IoT, gestion des ressources
Directeur de mémoire/thèse:	Directeur(-trice) Kaddoum, Georges
Programme:	Doctorat en génie > Génie
Date de dépôt:	21 mai 2026 14:39
Dernière modification:	21 mai 2026 14:39
URI:	https://espace.etsmtl.ca/id/eprint/3910

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt