Publish/subscribe method for data processing in massive IoT leveraging blockchain for secured storage

Ataei Kachouei, Mohammad Hossein (2024). Publish/subscribe method for data processing in massive IoT leveraging blockchain for secured storage. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (15MB) | Prévisualisation

Résumé

In the era of the Internet of Things (IoT), the rise of Machine-Type Devices (MTDs) has brought about Massive IoT (MIoT) or massive Mache-Type Communication (mMTC), creating new possibilities for connected devices. However, dealing with the substantial and diverse data streams in real time poses challenges. To address this, we employ Publish/Subscribe messaging architecture, specifically designed for real-time data processing capabilities. Our method involves a publish/subscribe system, where device data is sent to a dedicated broker acting as a separate server. This broker allows any application to subscribe to the dataset, fostering a dynamic and responsive data environment. At the heart of our data transmission setup is a Distributed Store and Stream-Processing Platform (Apache Kafka version 3.6.1), recognized for its effective data flow management. Kafka, which takes advantage of Publish/Subscribe architecture, facilitates the connection between MIoT sensors and brokers, supporting parallel clusters for improved scalability. On top of our real-time event streaming engine, we employ analytical database software such as Apache Druid version 28.0.0, known for its real-time analysis capabilities. On the other hand, to ensure uninterrupted connectivity, we integrate a fail-safe mechanism using two Software-Defined Radios (SDR) called Nutaq PicoLTE Release 1.5 in our model. This redundancy enhances data transmission availability, protecting against connectivity disruptions. For data repository security, we leverage blockchain technology, specifically InetrPlanetary File System and Hyperledger Fabric, known for their high-performance characteristics, ensuring data integrity, immutability, and security. Our latency results show that our platform significantly reduces latency for 100,000 devices classified as MIoT to under 25 milliseconds. Additionally, our research on blockchain performance highlights our model as a secure platform, achieving over 800 Transactions Per Second in a dataset of 14,000 transactions, demonstrating its high efficiency.

Titre traduit

Méthode de publication/abonnement pour le traitement en temps réel des données dans l'internet des objets massif en tirant parti de la blockchain pour le stockage sécurisé

Résumé traduit

À l'ère de l'Internet des objets (IdO), l'essor des appareils de type machine (MTD) a entraîné l'avènement de l'Internet des objets massif (MIoT) ou de la communication massive de type machine (mMTC), créant de nouvelles possibilités pour les appareils connectés. Cependant, le traitement en temps réel des flux de données substantiels et divers pose des défis. Pour y remédier, nous utilisons une architecture de messagerie Publish/Subscribe, spécialement conçue pour les capacités de traitement des données en temps réel. Notre méthode implique un système de publication/abonnement, où les données des appareils sont envoyées à un courtier dédié agissant en tant que serveur distinct. Ce courtier permet à toute application de s'abonner à l'ensemble de données, favorisant un environnement de données dynamique et réactif. Au coeur de notre configuration de transmission de données se trouve une plateforme de stockage et de traitement de flux distribuée (Apache Kafka version 3.6.1), reconnue pour sa gestion efficace des flux de données. Kafka, qui tire parti de l'architecture Publish/Subscribe, facilite la connexion entre les capteurs MIoT et les courtiers, en prenant en charge des clusters parallèles pour une évolutivité améliorée. En plus de notre moteur de diffusion d'événements en temps réel, nous utilisons des logiciels de base de données analytiques tels que Apache Druid version 28.0.0, connus pour leurs capacités d'analyse en temps réel. D'autre part, pour garantir une connectivité ininterrompue, nous intégrons un mécanisme de secours à l'aide de deux radios définies par logiciel (SDR) appelées Nutaq PicoLTE Release 1.5 dans notre modèle. Cette redondance améliore la disponibilité de la transmission de données, protégeant contre les interruptions de connectivité. Pour la sécurité du référentiel de données, nous tirons parti de la technologie de la chaîne de blocs, notamment du système de fichiers interplanétaire et de Hyperledger Fabric, connus pour leurs caractéristiques de haute performance, garantissant l'intégrité, l'immutabilité et la sécurité des données. Nos résultats de latence montrent que notre plateforme réduit considérablement la latence pour 100 000 appareils classés comme MIoT à moins de 25 millisecondes. De plus, notre recherche sur les performances de la chaîne de blocs met en évidence notre modèle comme une plateforme sécurisée, atteignant plus de 800 transactions par seconde dans un ensemble de données de 14 000 transactions, démontrant son efficacité élevée.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillement for a master’s degree with thesis in electrical engineering". Comprend des références bibliographiques (pages 90-96).
Mots-clés libres:	méthode de publication/abonnement, Internet des objets massif, traitement de données en temps réel (Apache Kafka), analyse de données (Apache Druid), scalabilité, disponibilité, sécurité
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Landry, René Jr.
Programme:	Maîtrise en ingénierie > Génie électrique
Date de dépôt:	21 mars 2025 15:45
Dernière modification:	21 mars 2025 15:45
URI:	https://espace.etsmtl.ca/id/eprint/3545

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt