EdgeDAG: a latency-aware initial operator placement strategy for edge-based distributed stream processing applications

Mohtadi, Alireza (2022). EdgeDAG: a latency-aware initial operator placement strategy for edge-based distributed stream processing applications. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

Over the past few years, the Internet of Things (IoT) has become popular. IoT devices are directly integrated into human lives. As a result, the data generated by IoT devices has increased. Processing applications can provide valuable information and it can reduce the amount of data passed to the cloud. The critical goal of these applications is to provide low latency results. Stream processing can facilitate the processing by offering a programming model for running an application in parallel. In the last few years, the number of IoT applications that rely on stream processing has increased. These applications process continuous streams of data with a low delay and provide valuable information. However, IoT devices are restricted in the case of bandwidth and computational resources. To meet the stringent latency requirements and the need for real-time results, the components of the stream processing pipeline can be deployed directly onto the edge layer to benefit from the resources and capabilities that the swarm of edge devices can provide. Edge network provides resources close to the user and helps to reduce the latency in time-sensitive applications. In this thesis, we propose a new optimization strategy for deploying the operators over the suitable resources at the edge of the network with the goal of minimizing latency while ensuring that the constraints of the devices and their network capabilities are respected. By implementing a new simulator, proposing a new type of optimization function and using a meta-heuristic algorithm called Grey Wolf Optimizer, we can provide a good mapping between the edge nodes and operators.

Titre traduit

EdgeDAG : une stratégie de placement initial des opérateurs tenant compte de la latence pour les applications de traitement de flux distribués en périphérie

Résumé traduit

Au cours des dernières années, l’internet des objets (IoT) a grandi en popularité. Ils sont directement intégrés à la vie humaine. Par conséquent, les données générées par les dispositifs IoT ont augmenté. Le traitement de ces données peut fournir des informations précieuses. De plus, elles peuvent réduire la quantité de données transmises au cloud. L’objectif critique de ces applications est de fournir des résultats à faible latence. Le traitement en continu peut faciliter le traitement en offrant un modèle de programmation pour exécuter l’application en parallèle. Au cours des dernières années, le nombre d’applications IoT qui reposent sur le traitement en flux a augmenté. Ces applications traitent des flux continus de données avec un faible délai et fournissent des informations précieuses. Cependant, les dispositifs IoT sont limités en matière de bande passante et de ressources de calcul. Pour répondre aux exigences strictes en matière de latence et à la nécessité d’obtenir des résultats en temps réel, les composants du pipeline de traitement des flux peuvent être déployés directement en périphérie afin de bénéficier des ressources et des capacités que l’essaim d’appareils edge peut fournir. En effet, le réseau edge fournit des ressources proches de l’utilisateur et permet de réduire la latence dans les applications avec contraintes de temps. Dans cette thèse, nous proposons une nouvelle stratégie d’optimisation pour déployer les opérateurs sur les ressources appropriées à la périphérie du réseau dans le but de minimiser la latence tout en s’assurant que les contraintes des dispositifs et leurs capacités réseau sont respectées. En implémentant un nouveau simulateur, en proposant un nouveau type de fonction d’optimisation et en utilisant un algorithme méta-heuristique appelé Grey Wolf Optimizer, nous pouvons fournir une bonne correspondance entre les noeuds de périphérie et les opérateurs.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in software engineering". Comprend des références bibliographiques (pages 107-111).
Mots-clés libres:	traitement en continu distribué, problème de placement, informatique de périphérie, internet des objets
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Gascon-Samson, Julien
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	26 mai 2022 19:04
Dernière modification:	26 mai 2022 19:04
URI:	https://espace.etsmtl.ca/id/eprint/2998

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt