IoT traffic modelling and QoS prediction framework using advanced deep learning

Hameed, Aroosa (2023). IoT traffic modelling and QoS prediction framework using advanced deep learning. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (5MB) | Prévisualisation

Résumé

The Internet of Things (IoT) refers to the billions of physical devices around the world that are connected to the internet, all collecting and sharing data. IoT includes a wide variety of devices such as smart home devices like thermostats, refrigerators, and security systems, industrial machines, wearable health monitors, and even smart city technologies. The expansion of IoT devices brings numerous benefits, yet it also poses challenges arising from the resource-limited characteristics of many such devices. These limitations, including constrained computing power, memory, and energy efficiency, can impact performance and responsiveness, particularly in the context of crucial, time-sensitive applications. The advent of Edge Computing (EC) offers a promising solution to these challenges. By situating computational resources in proximity to IoT devices, EC can minimize latency and enable efficient data processing. Nonetheless, the unpredictable nature of IoT data generation, given the diversity of device types and their activity cycles, introduces its own set of complexities. Moreover, the employment of wireless communication and unlicensed frequency bands compounds issues related to data transmission efficiency, interference, and limited capacity, potentially leading to increased latency within IoT networks. Adding to this intricate communication framework is the variable network connectivity of mobile IoT devices such as drones or robots, which contributes to the existing complications. Therefore, it becomes imperative to predict the time-varying characteristics of IoT devices to better manage resources and ensure Quality of Service (QoS). Grouping similar IoT devices can improve workload estimates and facilitate resource allocation. Moreover, QoS prediction models that incorporate time series data of packet generation and network characteristics can contribute to a better understanding of the IoT platform’s requirements and limitations.

In this thesis, we first consider the categorization of traffic from IoT devices into distinct classes. This approach is intended to facilitate the managing and understanding of the diverse range of data coming from various IoT devices within a smart city environment. We model the IoT devices traffic identification problem as a multi-classification learning problem, and propose a two stage learning model as a solution. In order to capture the nuances of IoT device behavior, we suggest an extended feature set, which includes flow, packet, and device-level features. These features describe the characteristics and behavior of IoT devices in a smart city context. We further propose a custom weighting pre-processing algorithm to determine the contribution of traffic data features to the classification process. Subsequently, an ANOVA-based feature selection mechanism and the Pearson’s coefficient-based correlation method are employed for a more profound understanding of the traffic characteristics (features). Lastly, we propose an innovative, two-stage learning algorithm, which utilizes logistic regression at stage 0 to initially categorize the data, and a Multi-Layer Perceptron (MLP) network at stage 1 to refine the classification. This two-stage process allows for more accurate classification of IoT devices, as demonstrated with two different real IoT traffic datasets.

The second aspect of the work presented in this thesis involves the efficient prediction of various QoS metrics, such as throughput, Packet Delivery ratio (PDR), Packet Loss Ratio (PLR) and latency for a diverse set of IoT applications. We propose a temporal transformer model within a unified system, designed to predict typical QoS metrics. This prediction is model as a time series forecasting problem, utilizing both univariate and multivariate setups. We generate a dataset comprised of real-time traffic information from five distinct IoT applications: Heating, Ventilation, and Air Conditioning (HVAC), smart lighting, Voice over Internet Protocol (VoIP) for a virtual assistant, surveillance, and emergency response. The proposed temporal transformer model leverages an attention module to predict both short-term and long-term QoS sequences, thereby more effectively extracting time dependencies. This second aspect of the thesis focuses solely on predicting QoS metrics per IoT application with static sensor nodes.

The third part of this thesis extends the aforementioned direction and concerns the prediction of QoS metrics in a setting where the IoT gateways are mobile robots. To this end, we implement three IoT applications in a real-world environment under eight distinctive network configurations that consider robot mobility, IoT device transmission power, and the application-specific channel frequencies used. To predict the QoS behavior of various metrics in such a dynamic environment, we propose a Federated Temporal Sparse Transformer (FeD-TST) framework. This framework enables local clients to train individual models with their unique QoS dataset for each network configuration, subsequently updating an associated global model through the amalgamation of local models. For each client, a Temporal Sparse Transformer model is trained, which comprises of several components, including the encoder and decoder modules, the multi-head sparse attention module, and the masked sparse attention module. Finally, the framework generates univariate or multivariate forecasts, and the effectiveness of which is then evaluated based on a test dataset.

Hence, the major contribution of this particular thesis can be summarized as providing IoT devices with traffic classification and QoS prediction mechanisms for an array of IoT applications. Our proposed methodologies take into account the varied patterns of IoT data generation, device mobility, and access networks within an IoT ecosystem, while extensive experimental evaluations indicate that our proposed approaches outperform current state-of-the-art techniques in terms of performance and efficiency. Additionally, our proposed approaches can provide tangible insights into the resource requirements and limitations encountered at the access level of the IoT network and within the edge infrastructure.

Titre traduit

Modélisation du trafic IdO et cadre de prédiction de la qualité de service à l’aide de l’apprentissage profond avancé

Résumé traduit

L’Internet des Objets (IdO) désigne des milliards d’appareils physiques connectés à l’internet dans le monde, qui collectent et partagent tous des données. L’IdO englobe une grande variété d’appareils tels que les appareils domestiques intelligents (thermostats, réfrigérateurs et systèmes de sécurité), les machines industrielles, les moniteurs de santé portables et même les technologies des villes intelligentes. L’expansion des dispositifs IdO apporte de nombreux avantages, mais pose également des défis liés aux caractéristiques de ressources limitées de beaucoup de ces dispositifs. Ces limitations, notamment la puissance de calcul, la mémoire et l’efficacité énergétique, peuvent avoir un impact sur les performances et la réactivité, en particulier dans le contexte d’applications cruciales et sensibles au facteur temps. L’avènement d’informatique en périphérie du réseau (PdR) offre une solution prometteuse à ces défis. En plaçant les ressources informatiques à proximité des dispositifs IdO, le PdR peut minimiser la latence et permettre un traitement efficace des données. Pourtant, la nature imprévisible de la génération de données IdO, compte tenu de la diversité des types d’appareils et de leurs cycles d’activité, introduit son propre ensemble de complexités. En outre, l’utilisation de communications sans fil et de bandes de fréquences sans licence aggrave les problèmes liés à l’efficacité de la transmission des données, aux interférences et à la capacité limitée, ce qui peut entraîner une augmentation du temps de latence au sein des réseaux IdO. À ce cadre de communication complexe s’ajoute la connectivité réseau variable des appareils mobiles IdO tels que les drones ou les robots, qui contribue aux complications existantes. Il devient donc impératif de prévoir les caractéristiques variables dans le temps des appareils IdO pour mieux gérer les ressources et assurer la qualité de service (QdS). Le regroupement d’appareils IdO similaires peut améliorer les estimations de la charge de travail et faciliter l’allocation des ressources. En outre, les modèles de prédiction de la QoS qui intègrent des données de séries temporelles sur la génération de paquets et les caractéristiques du réseau peuvent contribuer à une meilleure compréhension des exigences et des limites de la plateforme IdO.

Dans cette thèse, nous considérons d’abord la catégorisation du trafic provenant des dispositifs IdO en classes distinctes. Cette approche est destinée à faciliter la gestion et la compréhension de la gamme variée de données provenant de divers dispositifs IdO dans un environnement de ville intelligente. Nous modélisons le problème d’identification du trafic des dispositifs IdO comme un problème d’apprentissage classification multiple et proposons un modèle d’apprentissage en deux étapes comme solution. Afin de capturer les nuances du comportement des appareils IdO, nous suggérons un ensemble de caractéristiques étendu, qui comprend des caractéristiques au niveau du flux, du paquet et de l’appareil. Ces caractéristiques décrivent les caractéristiques et le comportement des péripheriques IdO dans le contexte d’une ville intelligente. De plus, nous proposons un algorithme de prétraitement de pondération personnalisé pour déterminer la contribution des caractéristiques des données de trafic au processus de classification. Ensuite, un mécanisme de sélection des caractéristiques basé sur l’ANOVA et la méthode de corrélation basée sur le coefficient de Pearson sont utilisés pour une compréhension plus approfondie des caractéristiques du trafic (caractéristiques). Enfin, nous proposons un algorithme d’apprentissage innovant en deux étapes, qui utilise la régression logistique à l’étape 0 pour catégoriser initialement les données, et un réseau de perceptron multicouche (MLP) à l’étape 1 pour affiner la classification. Ce processus en deux étapes permet une classification plus précise des dispositifs IdO, comme cela a été démontré avec deux ensembles de données réels différents sur le trafic IdO.

Le deuxième aspect du travail présenté dans cette thèse concerne la prédiction efficace de diverses mesures de QdS, telles que le débit, le taux de livraison des paquets, le taux de perte de paquets et la latence pour un ensemble diversifié d’applications IdO. Nous proposons un modèle de transformateur temporel au sein d’un système unifié, conçu pour prédire les mesures de qualité de service typiques. Cette prédiction est modélisée comme un problème de prévision de séries temporelles, utilisant à la fois des configurations univariées et multivariées. Nous générons un ensemble de données composé d’informations sur le trafic en temps réel provenant de cinq applications IdO distinctes : Chauffage, ventilation et climatisation (HVAC), éclairage intelligent, voix sur protocole Internet (VoIP) pour un assistant virtuel, surveillance et intervention d’urgence. Le modèle de transformateur temporel proposé tire parti d’un module d’attention pour prédire les séquences de QdS à court et à long terme, ce qui permet d’extraire plus efficacement les dépendances temporelles. Ce deuxième aspect de la thèse se concentre uniquement sur la prédiction des métriques de QdS par application IdO avec des nœuds de capteurs statiques.

La troisième partie de cette thèse étend la direction susmentionnée et concerne la prédiction des métriques de qualité de service dans un cadre où les passerelles IdO sont des robots mobiles. À cette fin, nous mettons en œuvre trois applications IdO dans un environnement réel sous huit configurations de réseau distinctes qui tiennent compte de la mobilité des robots, de la puissance de transmission des dispositifs IdO et des fréquences de canal spécifiques à l’application utilisée. Pour prédire le comportement de la qualité de service de diverses mesures dans un environnement aussi dynamique, nous proposons un transformateur temporel espacé fédéré (FeD-TST). Ce cadre permet aux clients locaux de former des modèles individuels avec leur ensemble de données de qualité de service unique pour chaque configuration de réseau, puis de mettre à jour un modèle global associé par le biais de l’amalgame des modèles locaux. Pour chaque client, un modèle transformateur temporel espacé est formé, qui comprend plusieurs composants, notamment les modules d’encodage et de décodage, le module d’attention clairsemée multi-têtes et le module d’attention clairsemée masquée. Enfin, le cadre génère des prévisions univariées ou multivariées, dont l’efficacité est ensuite évaluée sur la base d’un ensemble de données de test. Par conséquent, la principale contribution de cette thèse peut être résumée en fournissant aux dispositifs IdO des mécanismes de classification du trafic et de prédiction de la qualité de service pour un ensemble d’applications IdO. Les méthodologies que nous proposons tiennent compte des différents modèles de génération de données IdO, de la mobilité des appareils et des réseaux d’accès au sein d’un écosystème IdO, tandis que des évaluations expérimentales approfondies indiquent que nos approches proposées sont plus performantes que les techniques de pointe actuelles en termes de performance et d’efficacité. En outre, nos approches proposées peuvent fournir des informations tangibles sur les besoins en ressources et les limitations rencontrées au niveau de l’accès au réseau IdO et au sein de l’infrastructure périphérique.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 173-182).
Mots-clés libres:	classification des dispositifs IdO, prédiction de la qualité de service, informatique en périphérie du réseau, apprentissage profond, prévision des séries temporelles, apprentissage fédéré
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Leivadeas, Aris
Programme:	Doctorat en génie > Génie
Date de dépôt:	25 oct. 2023 14:03
Dernière modification:	31 oct. 2023 19:19
URI:	https://espace.etsmtl.ca/id/eprint/3299

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt