Efficient and reliable management of IoT-based services and big data in SDN-based smart environments

Njah, Yosra (2021). Efficient and reliable management of IoT-based services and big data in SDN-based smart environments. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (8MB) | Prévisualisation

Résumé

Recently, organizations worldwide have been embracing intelligent digital technologies in order to boost the quality of living within smart-sustainable environments (e.g., homes, campuses, factories, healthcare, vehicles, cities, etc.). The Internet of Things (IoT) is one of the most promising enabling technologies for deploying these environments by creating a worldwide network of a plethora of interconnected physical objects embedded with electronics, software, sensors, and network connectivity, bringing thereby tremendous opportunities and benefits, including convenience, automation, flexibility, and intelligence. However, this explosive expansion of mobile and sensing devices, cloud services, and video traffic has raised unprecedented challenges for network administrators in advanced solutions development to ensure efficient and reliable management of the underlying constrained infrastructure and the corresponding big data, as innumerable heterogeneous IoT and non-IoT services. On the other hand, the traditional network has limited global visibility of the overall architecture and the corresponding available resources because of the coupled control and data planes paradigm. Software-Defined Networking (SDN) is a promising technology that provides a centralized model with pure software for remote control and dynamic configuration of all heterogeneous network resources and services.

For designing efficient and reliable management of smart-sustainable environments, which is the aim of this thesis, we study the hypothesis of developing generic SDN-based engines for monitoring and optimizing the network underlying infrastructure resources and the massive concurrent heterogeneous flows. To meet this goal, four key issues are required to be addressed in our framework and are summarized as follows: (i) What are the essential particularities of the various smart environments to design generic SDN-based engines? (ii) How to design QoS provisioning aware routing mechanisms? (iii) How to design resource optimization aware routing mechanisms? And (iv) Why/How/Where traffic analysis and characterization (e.g., in terms of QoS) should be performed in fully programmable architectures?

To address the main goal of this thesis and the above research questions, we fix five objectives that enable us to design and experimentally validate new network engines related to traffic analysis, QoS provisioning, resource allocation, and energy consumption. Furthermore, different smart environment use cases (e.g., smart industry and education) have been considered in order to review their requirements and characteristics from various perspectives, thereby validating the proposed engines’ commonness. With each environment, we start by reviewing heterogeneous services and the underlying network architecture, where we particularly focus on the softwarization and programmability technologies. Then, based on each network’s purpose, we design, over centralized control systems, reactive and proactive mathematical models and algorithms using the Lagrangian relaxation theory to manage a set of thousands of heterogeneous flows while fulfilling the required QoS, optimizing available resources, reducing energy consumption, and minimizing the routing cost. On the other hand, we demonstrate how traffic analysis and service classification aspects play a crucial role in appropriate routing algorithm design and network performance. Hence, we focus on network traffic heterogeneity analysis, particularly IoT and non-IoT traffic flow identification. We propose an extensive evaluation framework based on machine and deep learning mechanisms for fine-grained service differentiation while preserving users’ privacy and supporting the evolving nature of network traffic, the high classification accuracy, and the low computational complexity. The results of our study show that the deployment of generic engines over the different smart environments is possible with certain modules (e.g., infrastructure recovery, traffic analysis and characterization, etc.), while some other modules (e.g., QoS provisioning, resource optimization, etc.) need to be adjusted based on the application purpose. Furthermore, the proposed SDN-based engines within each environment significantly enhance QoS assurance, optimize resource allocation, and save energy consumption compared to existing works.

Titre traduit

Gestion efficace et fiable des services basés sur l’IdO et du big data dans des environnements intelligents basés sur SDN

Résumé traduit

Récemment, des organisations du monde entier ont adopté des technologies numériques intelligentes afin d’améliorer la qualité de vie dans des environnements intelligents et durables (ex., maisons, campus, usines, hôpitaux, véhicules, villes, etc.). L’Internet des Objets (IdO) est l’une des technologies habilitantes les plus prometteuses pour le déploiement des environnements intelligents en créant un réseau mondial composé d’une pléthore d’objets physiques interconnectés et intégrés aux électroniques, aux logiciels, aux capteurs, et aux connectivité des réseaux, offrant ainsi de grandes opportunités et avantages, tel que la commodité, l’automatisation, la flexibilité, et l’intelligence. Cependant, cette expansion explosive des appareils mobiles, des capteurs, des services infonuagiques, et du trafic vidéo a soulevé des défis inouïs pour les administrateurs de réseaux au niveau du développement des solutions avancées assurant une gestion efficace et fiable de l’infrastructure sous-jacente limitée et du big data correspondants, sous forme d’innombrables services IoT et non IoT hétérogènes. En second lieu, le réseau traditionnel a une visibilité globale limitée de l’architecture tout entière ainsi que les ressources correspondantes disponibles en raison du paradigme d’accouplement entre les plans de contrôle et de données. Les réseaux définis par logiciels (réseaux SDN) est une technologie prometteuse qui fournit un modèle centralisé purement logiciel où le plan de contrôle est totalement découplé du plan de données permettant ainsi le contrôle à distance et la configuration dynamique de toutes les ressources et services réseau hétérogènes.

Pour concevoir une gestion efficace et fiable des environnements intelligents et durables, qui est le but de cette thèse, nous étudions l’hypothèse de développement de mécanismes génériques basées sur la technologie SDN permettant de contrôler et optimiser les ressources réseau de l’infrastructure sous-jacente et les flux de données massifs, simultanés, et hétérogènes. Pour atteindre cet objectif, quatre questions clés sont abordées dans le système que nous proposons et sont résumées comme suit: (i) Quelles sont les particularités essentielles des différents environnements intelligents pour concevoir des engins génériques basés sur la technologie SDN? (ii) Comment concevoir des mécanismes de routage supportant le provisionnement de la Qualité de Service (QdS) dans les réseaux intelligents? (iii) Comment concevoir des mécanismes de routage supportant l’optimisation de l’allocation des ressources réseau limitées? Et (iv) Pourquoi/Comment/Où l’analyse et la caractérisation du trafic (ex., en termes de QdS) doivent-elles être installées dans des architectures entièrement programmables?

Pour aborder le but global de cette thèse et les questions de recherche mentionnées ci-dessus, nous fixons cinq objectifs qui nous permettent de concevoir et de valider expérimentalement de nouvelles fonctionnalités réseau liées à l’analyse du trafic, au provisionnement de la QdS, à l’allocation des ressources, et à la consommation d’énergie. En outre, différents cas d’utilisation d’environnements intelligents (ex., industriel et campus éducatif) ont été considérés comme cas d’études afin d’examiner leurs caractéristiques et exigences conformément à plusieurs perspectives, validant ainsi la communité des fonctionnalités réseau étudiés. Avec chaque environnement, on commence par la revue des services hétérogènes et l’architecture réseau sous-jacente, où on se concentre particulièrement sur les aspects de "softwarization" et de programmabilité. Ensuite, en fonction de l’objectif de chaque cas d’étude, nous concevons avec des systèmes de contrôle centralisés (réactifs et proactifs) des modèles mathématiques et des algorithmes utilisant la théorie de la relaxation lagrangienne et permettant de gérer un ensemble de milliers de flux hétérogènes tout en assurant la QdS requise, en optimisant les ressources disponibles, en réduisant la consommation d’énergie, et en minimisant le coût de routage. En outre, nous démontrons comment les fonctionnalités d’analyse du trafic et de classification de services jouent un rôle important dans la conception d’algorithme de routage approprié ainsi que la gestion de la performance du réseau. Par conséquent, on se concentre sur l’analyse du trafic hétérogène dans les environnements intelligents, en particulier la différenciation des flux IdO et non-IdO. On propose un cadre d’évaluation extensif basé sur des mécanismes d’apprentissage automatique et en profondeur pour une identification fine des services tout en préservant la confidentialité des utilisateurs et en supportant la nature évolutive du trafic réseau, la haute précision de classification et la faible complexité de calcul. Les résultats de notre étude montrent que le déploiement de mécanismes génériques pour les différents environnements intelligents est possible avec certains modules (ex., récupération de l’infrastructure, analyse et caractérisation du trafic, etc.), tandis que d’autres modules (ex., provisionnement de la QdS, optimisation des ressources, etc.) doivent être ajustés en fonction de l’objectif de l’application. De plus, les mécanismes proposés basés sur SDN considérablement améliorent le provisionnement de la QdS, optimisent l’allocation des ressources et réduisent la consommation d’énergie par rapport aux travaux existants.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy”. Comprend des références bibliographiques (pages 163-177).
Mots-clés libres:	environnements intelligents, Internet des Objets (IdO), réseau définie par logiciel (SDN), multi-programmabilité, flux simultanés, big data, analyse du trafic, caractérisation des services, apprentissage automatique et en profondeur, allocation distribuée des débits, Qualité de Service (QdS), optimisation des ressources, sensibilisation à l’énergie
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Doctorat en génie > Génie
Date de dépôt:	04 févr. 2022 20:35
Dernière modification:	04 févr. 2022 20:35
URI:	https://espace.etsmtl.ca/id/eprint/2898

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt