Constrained hybrid soft actor–critic (CH-SAC) with a mobility-and load-aware fusion predictor

Beigali, Sima (2026). Constrained hybrid soft actor–critic (CH-SAC) with a mobility-and load-aware fusion predictor. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (14MB) | Prévisualisation

Résumé

Fog computing provides a distributed execution layer for latency-sensitive and mobility-driven applications, but its effectiveness is constrained by strong spatiotemporal demand variability, bursty arrivals, and congestion feedback. In realistic urban environments, reactive controllers and mobility-only predictors often respond only after queues have formed, causing sustained congestion, inflated tail latency, packet drops, and Quality-of-Service (QoS) degradation. These limitations are especially severe under compute bottlenecks, constrained buffering, and rapidly shifting demand hotspots.

This thesis proposes CH-SAC with a Mobility- and Load-Aware Fusion Predictor for proactive fog-resource provisioning. The framework combines a Flow-GRU mobility head with a Holt-style offered-load demand head that operates on accepted plus dropped requests, and fuses them through adaptive congestion-aware weighting with explicit floor and cap safety bounds. The resulting predictive signals are integrated into a Constrained Hybrid Soft Actor–Critic (CH-SAC) controller supported by a guard mechanism that monitors queue pressure, utilisation, latency spikes, and drop ratio. The framework is evaluated using real mobility traces from the Beijing T-Drive dataset in both a trace-driven YAFS environment and a Mininet-based fog emulation testbed under CPU-stress, queue-stress, and flash-crowd / hotspot-shift conditions.

The proposed framework forms a closed online control loop in which mobility-driven workload is forecast at a short horizon, hotspot nodes are prioritised proactively, and continuous resource-scaling actions are issued before congestion becomes dominant. In the YAFS behavioural analysis, the Fusion Predictor achieves strong short-horizon accuracy (MAE = 3.45 taxis, Pearson correlation r ≈ 0.95). Under a proactive-action definition based on scaling before overload onset, the controller attains a proactive-action share of 78.2%, a median lead time of 17.0 s, and an overload prediction F1- score of 0.890. In the Mininet stress evaluation, CH-SAC with Fusion Predictor achieves 79.3 ms mean latency and 241,454 completed requests under queue stress, and 41.65 ms mean latency with 162,285 completed requests under flash-crowd / hotspot-shift stress. Across the two evaluation layers, the framework improves proactive provisioning, latency, congestion control, service reliability, and recovery behaviour relative to threshold-based, metaheuristic, baseline RL, and non-predictive SAC baselines. The results also clarify the complementary roles of the framework’s two main enhancements: the Fusion Predictor is especially important when early anticipation is required, particularly under CPU- and queue-stress conditions, while the guard is essential for robustness and survivability under abrupt flash-crowd stress.

Overall, the thesis shows that integrating fused short-horizon forecasting with constraint-aware continuous-control reinforcement learning transforms fog-resource provisioning from reactive overload response into proactive, resilient, and QoS-oriented control in mobility-driven urban environments.

Titre traduit

CH-SAC (soft actor–critic hybride contraint) avec un prédicteur de fusion tenant compte de la mobilité et de la charge

Résumé traduit

L’informatique en brouillard (Fog computing) fournit une couche d’exécution distribuée pour les applications sensibles à la latence et pilotées par la mobilité. Cependant, son efficacité est limitée par une forte variabilité spatio-temporelle de la demande, des arrivées de trafic en rafales et des rétroactions de congestion. Dans des environnements urbains réalistes, les contrôleurs réactifs et les prédicteurs basés uniquement sur la mobilité réagissent souvent seulement après la formation des files d’attente, ce qui entraîne une congestion persistante, une augmentation de la latence de queue (tail latency), des pertes de paquets et une dégradation de la Qualité de Service (QoS). Ces limitations deviennent particulièrement sévères en présence de goulots d’étranglement de calcul, de capacités de tampon limitées et de points chauds de demande se déplaçant rapidement.

Cette thèse propose CH-SAC avec un prédicteur de fusion sensible à la mobilité et à la charge pour un provisionnement proactif des ressources du brouillard. Le cadre combine une tête de mobilité Flow-GRU avec une tête de demande de charge offerte de type Holt qui opère sur la somme des requêtes acceptées et rejetées, puis fusionne ces informations au moyen d’un pondération adaptative sensible à la congestion avec des bornes de sécurité explicites (plancher et plafond). Les signaux prédictifs obtenus sont intégrés dans un contrôleur Constrained Hybrid Soft Actor–Critic (CH-SAC) soutenu par un mécanisme de garde qui surveille la pression des files d’attente, l’utilisation des ressources, les pics de latence et le taux de rejet. Le cadre est évalué à l’aide de traces réelles de mobilité issues du jeu de données Beijing T-Drive, à la fois dans un environnement YAFS piloté par traces et dans un banc d’émulation de brouillard basé sur Mininet, sous des conditions de stress CPU, de stress de file d’attente et de situations de foule soudaine / déplacement de point chaud (flash-crowd / hotspot-shift).

Le cadre proposé forme une boucle de contrôle en ligne fermée dans laquelle la charge de travail induite par la mobilité est prévue à court horizon, les noeuds de point chaud sont priorisés de manière proactive et des actions continues d’ajustement des ressources sont émises avant que la congestion ne devienne dominante. Dans l’analyse comportementale sous YAFS, le prédicteur de fusion atteint une forte précision à court horizon (MAE = 3,45 taxis, corrélation de Pearson r ≈ 0,95). Selon une définition d’action proactive basée sur un redimensionnement effectué avant l’apparition d’une surcharge, le contrôleur atteint une proportion d’actions proactives de 78,2 %, un temps d’anticipation médian de 17,0 s et un score F1 de prédiction de surcharge de 0,890. Dans l’évaluation sous contrainte avec Mininet, CH-SAC avec prédicteur de fusion atteint une latence moyenne de 79,3 ms et 241 454 requêtes complétées sous stress de file d’attente, et une latence moyenne de 41,65 ms avec 162 285 requêtes complétées sous stress de foule soudaine / déplacement de point chaud. À travers ces deux niveaux d’évaluation, le cadre améliore le provisionnement proactif, la latence, le contrôle de la congestion, la fiabilité du service et le comportement de récupération par rapport aux approches basées sur des seuils, aux méthodes métaheuristiques, aux méthodes RL de base et au SAC non prédictif. Les résultats mettent également en évidence les rôles complémentaires des deux principales améliorations du cadre : le prédicteur de fusion est particulièrement important lorsque l’anticipation précoce est nécessaire, notamment dans les conditions de stress CPU et de file d’attente, tandis que le mécanisme de garde est essentiel pour la robustesse et la survie du système face aux situations soudaines de foule massive.

Globalement, cette thèse montre que l’intégration d’une prévision fusionnée à court horizon avec un apprentissage par renforcement à contrôle continu et conscient des contraintes transforme le provisionnement des ressources du brouillard, passant d’une réponse réactive à la surcharge vers un contrôle proactif, résilient et orienté QoS dans des environnements urbains pilotés par la mobilité.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for a master's degree with thesis in electrical engineering". Comprend des références bibliographiques (pages 170-171).
Mots-clés libres:	informatique en périphérie (fog computing), provisionnement proactif des ressources, contrôle sensible à la mobilité, Soft Actor–Critic (SAC), apprentissage profond par renforcement, prédiction de la demande à court horizon, prédicteur de fusion, détection de hotspot, qualité de service, QoS, latence en queue de distribution (p95), simulation YAFS, émulation Mininet, jeu de données taxis Beijing T-Drive
Directeur de mémoire/thèse:	Directeur(-trice) Kadoch, Michel
Programme:	Maîtrise en ingénierie > Génie électrique
Date de dépôt:	14 juill. 2026 13:47
Dernière modification:	14 juill. 2026 13:47
URI:	https://espace.etsmtl.ca/id/eprint/3959

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt