Towards zero-touch management in RAN slicing for next-generation networks

Sabr, Ohood (2026). Towards zero-touch management in RAN slicing for next-generation networks. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (7MB) | Prévisualisation

Résumé

Zero-Touch Networks (ZTNs) represent a cutting-edge paradigm shift towards fully automated and intelligent network management, providing the automation and intelligence needed to handle the complexity, scale, and dynamic behavior of next-generation mobile systems, including the sixth generation (6G). Artificial intelligence (AI) functions as the brain and backbone of ZTNs. In particular, deep reinforcement learning (DRL) algorithms have demonstrated strong potential for improving operational efficiency and supporting intelligent decision-making. Zero-touch management is particularly critical in transformative technologies such as network slicing (NS), which enables the creation of isolated logical networks on a shared physical infrastructure. Each logical network is designed to meet distinct quality of service (QoS) requirements, which makes NS indispensable for both current and future mobile generations. However, realizing ZTNs within a NS framework is associated with several challenges, especially in the radio access network (RAN) domain. Among the many difficulties encountered in the RAN domain, the following three challenges stand out as particularly critical: (i) managing inter- and intra-slice resource allocation; (ii) ensuring the security of inter-slice resource sharing; and (iii) achieving coordinated and concurrent management of radio resources at both inter- and intra-slice levels. These challenges are further exacerbated by the dynamic nature of wireless channels, scarcity of radio resources, diverse service-level agreements (SLAs), massive device densification, random traffic arrivals, and various network imperfections such as imperfect channel state information (CSI), imperfect orthogonal frequency division multiple access (OFDMA), and hardware impairments (HWIs).

In this context, the present thesis makes several key contributions to address these challenges. First, we investigate intra-slice resource allocation for RAN slicing by introducing an efficient self-optimizing (SO) scheme for a multi-user multiple-input single-output (MU-MISO) system, named PABSO-DRL. The proposed PABSO-DRL scheme dynamically and jointly manages power allocation and beamforming to ensure high data rates for enhanced mobile broadband (eMBB) while concurrently ensuring high reliability required by ultra-reliable low-latency communications (uRLLC). The scheme is designed to handle heterogeneous QoS requirements using a multi-agent deep Q-network (DQN) approach, while accounting for imperfect CSI, incomplete OFDMA isolation, and time-varying dynamics of the RAN environment.

Next, we focus on investigating inter-slice resource allocation. To this end, we propose a secure self-optimizing scheme based on a cooperative multi-actor–critic (CoMA2C) framework, referred to as SO-CoMA2C, to manage multiple radio resources (power and bandwidth) across a set of heterogeneous slices based on the fluctuating traffic load and in the presence of HWIs in open RAN (O-RAN). The main goal of the proposed scheme is maximizing the spectral efficiency while ensuring the SLA of each slice. Furthermore, we ensure the security of the allocation by integrating the Advanced Encryption Standard (AES) algorithm into the proposed scheme.

Finally, we develop a hierarchical self-optimizing framework aimed at maximizing the long-term QoS and spectral efficiency of heterogeneous services. The proposed framework adopts a two-layer strategy implemented through the following two complementary slicing manage ment schemes: (i) a cooperative multi-actor–critic (CoMA2C) scheme that allocates power and bandwidth across heterogeneous slices at a large timescale and (ii) a multi-agent DQN (MADQN)scheme that manages power and beamforming for active users within each slice at a small timescale. This design accounts for HWIs, traffic fluctuations and channel variations. Furthermore, a promising rate-splitting multiple-access (RSMA)-based scheme is investigated to further enhance the performance within each heterogeneous service. Beyond performance enhancement, the proposed framework also addresses coordination efficiency by minimizing overheads. In particular, the inter-slice scheme is triggered only when substantial changes occur in the traffic loads of the hosted slices. This design reduces the overall system overhead in terms of memory consumption, training time, and related operational costs.

Simulation results based on realistic system model assumptions demonstrate that the proposed cooperative multiple DRL-based approaches framework outperform baseline methods and successfully meet diverse SLA requirements in dynamic O-RAN deployment environments. The results of extensive evaluations further show that our proposed schemes provide a pathway towards more comprehensive and predictive resource management, ensuring robust performance under uncertain network conditions and imperfect operational environments. Moreover, the results highlight flexibility, robustness, and possible scalability of the proposed design while achieving a lower computational overhead as compared to benchmark baselines. Overall, the findings validate the potential of employing multiple cooperative DRL agents to enable automated, scalable, and intelligent RAN slicing in next-generation wireless communication networks.

Titre traduit

Vers une gestion sans intervention dans le découpage du RAN pour les réseaux de nouvelle génération

Résumé traduit

Les réseaux sans intervention (ZTN) représentent un changement de paradigme de pointe vers une gestion de réseau entièrement automatisée et intelligente. Ils fournissent l’automatisation et l’intelligence nécessaires pour gérer la complexité, l’échelle et le comportement dynamique des systèmes mobiles de nouvelle génération, notamment la sixième génération (6G). L’intelligence artificielle (IA) constitue le cerveau et l’épine dorsale des ZTN. En particulier, les algorithmes d’apprentissage par renforcement profond (DRL) ont démontré un fort potentiel pour améliorer l’efficacité opérationnelle et soutenir la prise de décision intelligente. La gestion sans intervention est particulièrement cruciale dans les technologies transformatrices telles que le découpage de réseau (NS), qui permet la création de réseaux logiques isolés sur une infrastructure physique partagée. Chaque réseau logique est conçu pour répondre à des exigences de qualité de service (QoS) distinctes, ce qui rend le NS indispensable pour les générations mobiles actuelles et futures. Cependant, la mise en œuvre des ZTN dans un cadre NS est associée à plusieurs défis, notamment dans le domaine du réseau d’accès radio (RAN). Parmi les nombreuses difficultés rencontrées dans le domaine du RAN, les trois défis suivants se distinguent comme particulièrement critiques : (i) la gestion de l’allocation des ressources inter- et intra-tranches ; (ii) garantir la sécurité du partage des ressources entre tranches ; et (iii) assurer une gestion coordonnée et simultanée des ressources radio aux niveaux inter- et intra-tranches. Ces défis sont encore accentués par la nature dynamique des canaux sans fil, la rareté des ressources radio, la diversité des accords de niveau de service (SLA), la forte densification des dispositifs, l’arrivée aléatoire du trafic et diverses imperfections du réseau telles que des informations d’état du canal (CSI) imparfaites, un accès multiple par répartition orthogonale de la fréquence (OFDMA) imparfait et des défaillances matérielles (HWI).

Dans ce contexte, la présente thèse apporte plusieurs contributions majeures pour relever ces défis. Premièrement, nous étudions l’allocation de ressources intra-tranche pour le découpage du RAN en introduisant un schéma d’auto-optimisation (SO) efficace pour un système multi-utilisateurs à entrées et sorties multiples (MU-MISO), nommé PABSO-DRL. Le schéma PABSO-DRL proposé gère dynamiquement et conjointement l’allocation de puissance et la formation de faisceaux afin de garantir des débits de données élevés pour le haut débit mobile amélioré (eMBB), tout en assurant la haute fiabilité requise par les communications ultra-fiables à faible latence (uRLLC). Ce schéma est conçu pour gérer des exigences de QoS hétérogènes grâce à une approche de réseau Q profond (DQN) multi-agents, tout en tenant compte des informations d’état du canal (CSI) imparfaites, de l’isolation OFDMA incomplète et de la dynamique temporelle de l’environnement RAN.

Nous nous intéressons ensuite à l’allocation des ressources entre les tranches. À cette fin, nous proposons un schéma auto-optimisé et sécurisé, basé sur un cadre coopératif multi-acteurs- critiques (CoMA2C), appelé SO-CoMA2C, pour gérer les ressources radio multiples (puissance et bande passante) réparties sur un ensemble de tranches hétérogènes. Ce schéma s’adapte aux f luctuations de la charge de trafic et prend en compte la présence d’interfaces matérielles (HWI) dans un réseau d’accès radio ouvert (O-RAN). L’objectif principal du schéma proposé est de maximiser l’efficacité spectrale tout en garantissant le SLA de chaque tranche. De plus, nous assurons la sécurité de l’allocation en intégrant l’algorithme de chiffrement AES (Advanced Encryption Standard) au schéma proposé.

Enfin, nous développons un cadre auto-optimisé hiérarchique visant à maximiser la qualité de service (QoS) à long terme et l’efficacité spectrale des services hétérogènes. Le cadre proposé adopte une stratégie à deux couches, mise en œuvre par deux schémas de gestion de découpage complémentaires : (i) un schéma coopératif multi-acteurs-critiques (CoMA2C) qui alloue la puissance et la bande passante entre les tranches hétérogènes sur une longue période, et (ii) un schéma multi-agents DQN (MADQN) qui gère la puissance et la formation de faisceaux pour les utilisateurs actifs au sein de chaque tranche sur une courte période. Cette conception prend en compte les interruptions matérielles, les fluctuations de trafic et les variations de canal. De plus, un schéma prometteur basé sur l’accès multiple à répartition de débit (RSMA) est étudié afin d’améliorer encore les performances au sein de chaque service hétérogène. Outre l’amélioration des performances, le cadre proposé optimise également l’efficacité de la coordination en minimisant les surcharges. En particulier, le schéma inter-tranches est déclenché uniquement lorsque des variations importantes surviennent dans la charge de trafic des tranches hébergées. Cette conception réduit la surcharge globale du système en termes de consommation de mémoire, de temps d’apprentissage et de coûts opérationnels associés.

Les résultats de simulation, basés sur des hypothèses de modélisation système réalistes, démontrent quelecadred’approchescoopératives multiples proposé, reposant sur l’apprentissage par renforcement profond (DRL), surpasse les méthodes de référence et répond avec succès à diverses exigences de niveau de service (SLA) dans des environnements de déploiement O-RAN dynamiques. Les résultats d’évaluations approfondies montrent également que nos schémas proposés ouvrent la voie à une gestion des ressources plus complète et prédictive, garantissant des performances robustes même dans des conditions de réseau incertaines et des environnements opérationnels imparfaits. De plus, les résultats mettent en évidence la flexibilité, la robustesse et l’évolutivité potentielle de la conception proposée, tout en réduisant la charge de calcul par rapport aux méthodes de référence. Globalement, ces résultats valident le potentiel de l’utilisation de plusieurs agents DRL coopératifs pour permettre un découpage RAN automatisé, évolutif et intelligent dans les réseaux de communication sans fil de nouvelle génération.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 196-214).
Mots-clés libres:	apprentissage coopératif, apprentissage par renforcement profond, services hétérogènes, découpage inter-RAN, découpage intra-RAN, MISO, découpage de réseau, allocation de ressources, réseaux sans intervention manuelle réseaux
Directeur de mémoire/thèse:	Directeur(-trice) Kaur, Kuljeet
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Kaddoum, Georges
Programme:	Doctorat en génie > Génie
Date de dépôt:	15 avr. 2026 19:10
Dernière modification:	15 avr. 2026 19:10
URI:	https://espace.etsmtl.ca/id/eprint/3880

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt