Forecasting lightpath quality of transmission and implementing uncertainty in the forecast models

Yousefi, Somaiieh (2021). Forecasting lightpath quality of transmission and implementing uncertainty in the forecast models. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (5MB) | Prévisualisation

Résumé

The recent popularity of using Deep Learning models for the forecasting of time series calls for methods to not only predict the target but also to measure the uncertainty of the prediction accurately. Working with time series requires reliable forecasters. An intuitive N-Beats architecture was implemented in this thesis with the desirable properties of being fast to train and adaptable, without requiring modifications for the various time series array settings. Its performance was compared with other models, namely Long Short-Term Memory (LSTM) Multi-layer Perceptron (MLP) and a naïve method. The influence of different hyperparameters were investigated as to how the parameters affected the performances of the models. Our NBeats model outperformed well-known time series forecaster, LSTM. All the implementations were conducted in Python programming language. Random sampling was performed to avoid overfitting. Our target field data are Microsoft and NASP data sets.

Estimating uncertainty is a component of reliable machine leaning models for time series forecasting. To measure the uncertainty and confidence level of the selected MLP model, Monte Carlo dropout, which approximates Bayesian uncertainty, was applied during inference. Quantile Regression was also implemented on the MLP algorithm as a baseline to predict the confidence intervals and to evaluate our strategy for estimating uncertainty. As a result, Bayesian approximation models indicated the necessity of calibration to adjust the predicted probability.

Titre traduit

Prédiction de la qualité de la transmission des connexions optiques et mise en oeuvre de l’incertitude dans les modèles de prédiction

Résumé traduit

La popularité récente de l’utilisation des modèles d’apprentissage profond pour la prédiction des séries chronologiques requiert de prédire avec exactitude la cible mais également mesurer l’incertitude de la prédiction. Ainsi, une architecture intuitive N-Beats a été implémentée dans cette thèse pour propriétés la rapidité de l’entraînement du modèle et l'adaptabilité de paramètre. De plus, cette architecture ne nécessite pas de modifier les différents paramètres du tableau de séries temporelles. L’impact des hyper-paramètres sur les performances de notre modèle a été également étudiée. Finalement, la performance de notre modèle a été comparée à d’autres modèles, à savoir Long Short-Term Memory (LSTM), Multi Layer Perceptron (MLP) et une méthode naïve. Les résultats ont montré que notre modèle N-Beats a surpassé le modèle LSTM. Toutes les implémentations ont été réalisées en utilisant le langage de programmation Python. Notre base de données utilisée comprend des ensembles de données de deux opérateurs de réseau, Microsoft et NASP. Un échantillonnage aléatoire de nos ensembles de données a été effectué pour éviter un sur-apprentissage.

L’estimation de l’incertitude est une mesure des modèles d’apprentissage automatique pour déterminer la fiabilité de la prédiction des séries chronologiques. Ainsi, pour mesurer l’incertitude et le niveau de confiance du modèle MLP, le dropout Monte Carlo, qui se rapproche de l’incertitude bayésienne, a été appliqué lors de l’inférence. La régression quantile a été implémentée comme modèle de référence pour prédire les intervalles de confiance et pour évaluer notre stratégie d’estimation de l’incertitude. En conséquence, les modèles d’approximation bayésienne ont indiqué la nécessité d’un étalonnage pour ajuster la probabilité prédite.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillement for a master’s degree with thesis in electrical engineering". Comprend des références bibliographiques (pages 99-104).
Mots-clés libres:	séries temporelles, forecaster, N-Beats, LSTM, MLP, hyper-paramètres, incertitude, approximation bayésienne, intervalles de confiance, régression quantile
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Tremblay, Christine
Codirecteur:	Codirecteur Desrosiers, Christian
Programme:	Maîtrise en ingénierie > Génie électrique
Date de dépôt:	31 mars 2023 13:52
Dernière modification:	31 mars 2023 13:52
URI:	https://espace.etsmtl.ca/id/eprint/2913

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt