Smart optical networks enabled by performance monitoring and machine learning

Aladin, Sandra (2026). Smart optical networks enabled by performance monitoring and machine learning. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (4MB) | Prévisualisation

Résumé

Reliable optical network operation depends on effective quality of transmission (QoT) management across the operational lifetime of each lightpath. Hard failures cause immediate service disruption, while soft failures produce gradual degradation that may go undetected until service is impacted. Both ultimately manifest as QoT violations. QoT management encompasses the functions or tasks required to ensure that each lightpath meets its quality-ofservice requirements. These functions include assessing the feasibility of a lightpath based on its estimated QoT before establishment, detecting abnormal QoT degradations during operation, and forecasting the evolution of QoT to enable proactive intervention before service quality is compromised.

Optical network failure management (ONFM) addresses network failures with six identified use cases in the literature: QoT estimation, failure detection, failure prediction, root-cause identification, failure localization, and failure magnitude estimation. Although machine learning (ML) has proven effective for individual ONFM use cases, existing solutions have addressed them separately. Moreover, the relationships among the QoT management tasks, the selection of appropriate ML approaches for each task, and the ways in which these tasks can reinforce one another through cross-task integration, remain underexplored. This thesis addresses three QoT management tasks corresponding to three ONFM use cases: lightpath feasibility assessment through QoT estimation, anomaly detection for failure detection, and QoT forecasting for failure prediction.

For lightpath feasibility assessment, performed prior to lightpath establishment, a lightweight and interpretable supervised learning model is developed for QoT estimation of unestablished lightpaths. To address the difference between synthetic or simulated training data and real deployment environments with scarce datasets, domain adaptation techniques integrated with feature selection based on explainable artificial intelligence (XAI) are implemented. This enables robust performance with limited target domain samples while maintaining the computational efficiency and interpretability required for large-scale optical network planning operations. Random Forest (RF) classifiers with Boruta-Shapley additive explanation (Boruta-SHAP) automated feature selection and transfer learning achieve 98.64%-99.65% accuracy for QoT estimation across four datasets while providing superior computational efficiency (reductions of training time by 52.78%-70.68%, inference times of 1.1-2.4 μs per lightpath) and SHAP-based interpretability. Feature-selection-guided domain adaptation achieves 86% accuracy with only 50 target domain instances.

For anomaly detection during network operations, complementary unsupervised learning methods are applied to identify diverse anomalies within multivariate optical performance monitoring (OPM) datasets without relying on labeled failure data. A comparison of unsupervised methods such as density based spatial clustering applications with noise (DBSCAN), one-class support vector machine (OCSVM), Isolation Forest (IF), on 4 years of production network data, demonstrates that DBSCAN achieves superior anomaly detection performance (precision 0.54, silhouette score 0.82) while detecting subtle degradations traditional threshold-based monitoring fails to observe.

For QoT forecasting, a framework that integrates change-point detection (CPD) and collective anomaly detection (CAD) is introduced using multivariate sequence-to-sequence (seq2seq) deep learning models for QoT forecasting. By integrating change point and collective anomaly indicators into time-series prediction, the approach enables the computation of actionable reaction windows that support proactive network management. A change point and collective anomaly-aware long short-term memory (LSTM)-based forecasting framework achieves 28.21% root mean square error (RMSE) reduction and 42.36% mean absolute error (MAE) reduction compared to baseline forecasting, providing consistent reaction windows of 1-10 days before failure events. A systematic validation across diverse additional datasets, forecasting architectures (temporal convolutional network (TCN) and LSTM), unsupervised CAD techniques, and input sequence lengths confirm the robustness of the approach. The results show consistent forecasting improvements (averaged reductions of RMSE and MAE of roughly 10 25%), along with 100% failure coverage with a stable positive lead time across all detection sensitivity.

These results demonstrate that selecting ML models according to the specific context of each task yields robust solutions for QoT management. Moreover, they show that integrating CPDCAD indicators into the QoT forecasting framework significantly improves both prediction accuracy and early-warning capability in production optical networks.

Titre traduit

Réseaux optiques intelligents rendus possibles par la surveillance des performances et l’apprentissage automatique

Résumé traduit

Le bon fonctionnement d’un réseau optique repose sur une gestion efficace de la qualité de transmission (Quality of Transmission, QoT) tout au long de la durée de vie opérationnelle de chaque connexion optique. Les défaillances matérielles interrompent immédiatement le service, tandis que les défaillances logicielles provoquent une dégradation progressive pouvant passer inaperçue jusqu’à ce que le service soit affecté. Dans les deux cas, elles se traduisent par des violations de la QoT. La gestion de la QoT regroupe l’ensemble des fonctions ou tâches visant à garantir qu’une connexion optique respecte en permanence les exigences de qualité de service. Ces fonctions incluent notamment l’évaluation de la faisabilité d’une connexion à partir de la QoT estimée avant son établissement, la détection de dégradations anormales de QoT durant l’opération, ainsi que la prédiction de son évolution afin de permettre des interventions proactives avant que le niveau de performance ne devienne insuffisant.

La gestion des défaillances dans les réseaux optiques (Optical Network Failure Management, ONFM) traite les défaillances dans les réseaux à travers six cas d’utilisation identifiés dans la littérature : l’estimation de la QoT, la détection des défaillances, la prédiction des défaillances, l’identification des cause profondes, la localisation des défaillances et l’estimation de leur ampleur. Bien que l’apprentissage automatique (Machine Learning, ML) se soit révélé efficace pour chacun de ces cas d’usage pris individuellement, les solutions existantes les traitent séparément. De plus, les principes qui relient les tâches de gestion de la QoT, à savoir le choix des approches ML appropriées pour chacune d’entre elles et la manière dont elles peuvent se renforcer mutuellement via une intégration inter-tâches, restent peu explorés. Cette thèse traite trois tâches de gestion de la QoT associées à trois cas d’utilisation de l’ONFM, à savoir l’évaluation de la faisabilité de connexions optiques par estimation de la QoT, la détection d’anomalies pour la détection de défaillances, et la prédiction de la QoT pour la prédiction de défaillances.

Pour l’évaluation de la faisabilité des connexions optiques, donc avant leur établissement, un modèle d’apprentissage supervisé léger et interprétable est développé pour l’estimation de la QoT des connexions optiques non établies. Afin de pallier la différence entre les données d’entraînement synthétiques ou simulées et les environnements de déploiement réels où les jeux de données sont rares, des techniques d’adaptation de domaine intégrées à une sélection de caractéristiques basée sur l’intelligence artificielle explicable (eXplainable Artificial Intelligence, XAI) sont mises en oeuvre. Cela permet d’obtenir des performances robustes avec un nombre limité d’échantillons du domaine cible, tout en conservant l'efficacité computationnelle et l'interprétabilité requises pour les opérations de planification de réseaux optiques à grande échelle. Les classificateurs Random Forest (RF), combinés à la technique de sélection automatisée de caractéristiques Boruta-SHAP (Boruta-Shapley Additive exPlanation) et à l'apprentissage par transfert, atteignent une précision de 98,64% à 99,65% pour l'estimation de la QoT sur quatre jeux de données, tout en offrant une efficacité de calcul supérieure (réductions du temps d'entraînement de 52,78% à 70,68%, et des temps d'inférence de 1,1 à 2,4 μs par connexion optique) ainsi qu'une interprétabilité basée sur SHAP. L'adaptation de domaine guidée par la sélection de caractéristiques atteint une précision de 86% avec seulement 50 instances du domaine cible.

Pour la détection d'anomalies pendant l'exploitation du réseau, des méthodes complémentaires d'apprentissage non supervisé sont appliquées afin d'identifier diverses anomalies dans des jeux de données multivariés de surveillance des performances optiques (Optical Performance Monitoring, OPM), sans s'appuyer sur des données de défaillance étiquetées. Une comparaison de méthodes non supervisées telles que (Density-Based Spatial Clustering of Applications with Noise, DBSCAN), (One-Class Support Vector Machine, OCSVM), et (Isolation Forest, IF) sur quatre années de données de réseau en production démontre que DBSCAN offre des performances supérieures (précision de 0,54, score de silhouette de 0,82) tout en détectant des dégradations subtiles que la surveillance traditionnelle basée sur des seuils ne parvient pas à détecter.

Pour la prédiction de la QoT, un cadre intégrant la détection des points de changement (Change Point Detection, CPD) et des anomalies collectives (Collective Anomaly Detection, CAD) est introduit à l’aide de modèles profonds séquence-à-séquence multivariés pour la prédiction de la QoT. En intégrant des indicateurs de points de changement et d'anomalies collectives dans la prédiction de séries temporelles, cette approche permet de calculer des fenêtres de réaction exploitables qui favorisent une gestion proactive du réseau. Le cadre de prédiction de la QoT basé sur un réseau à mémoire à long et court terme (Long Short-Term Memory, LSTM) tenant compte des points de changement et des anomalies collectives, permet une réduction de l’erreur quadratique moyenne (Root Mean Square Error, RMSE) de 28,21% et de l’erreur absolue moyenne (Mean Absolute Error, MAE) de 42,36% par rapport à la prédiction de référence, offrant des fenêtres de réaction cohérentes de 1 à 10 jours avant la survenue d'une défaillance. Une validation systématique sur plusieurs jeux de données supplémentaires, architectures de prédiction (Temporal Convolutional Network, TCN et LSTM), techniques de CAD non supervisées, et longueurs de séquence d'entrée, confirme la robustesse de l’approche. Les résultats montrent des améliorations constantes des prédictions (réductions moyennes de RMSE et MAE entre 10-25%) ainsi qu’une couverture des défaillances de 100% avec une fenêtre de réaction positive stable pour toutes les sensibilités de détection testées.

Ces résultats démontrent que la sélection de modèles ML adaptés au contexte propre à chaque tâche permet d’obtenir des solutions robustes pour la gestion de la QoT. Ils montrent également que l'intégration d'indicateurs CPD-CAD dans les modèles de prédiction de la QoT améliore significativement la précision des prédictions tout en offrant des capacités d'alerte précoce pour des réseaux optiques en exploitation.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 203-218).
Mots-clés libres:	détection d'anomalies, détection de points de changement, adaptation de domaine, IA explicable, gestion des défaillances des réseaux optiques, gestion proactive des réseaux, qualité de transmission, fenêtre de réaction, prédiction de séries temporelles, apprentissage par transfert
Directeur de mémoire/thèse:	Directeur(-trice) Tremblay, Christine
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Wosinka, Lena
Programme:	Doctorat en génie > Génie
Date de dépôt:	24 juill. 2026 14:55
Dernière modification:	24 juill. 2026 14:55
URI:	https://espace.etsmtl.ca/id/eprint/4025

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt