Adaptive client selection and upgrade of resources for robust federated learning

Abdul Rahman, Sawsan (2022). Adaptive client selection and upgrade of resources for robust federated learning. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (7MB) | Prévisualisation

Résumé

Driven by privacy concerns and the visions of Deep Learning, the last four years have witnessed a paradigm shift in the applicability mechanism of Machine Learning (ML). An emerging model, called Federated Learning (FL), is rising above both centralized systems and on-site analysis, to be a new fashioned design for ML implementation. It is a privacy preserving decentralized approach, which keeps raw data on devices and involves local ML training while eliminating data communication overhead. A federation of the learned and shared models is then performed on a central server to aggregate and share the built knowledge among participants.

Recently, many research interests have been drawn targeting different aspects in FL. However, the limitations while selecting the clients and reducing the communication costs still threaten FL performance and its applicability in real scenarios. From these premises, this dissertation fills the lacking of the existing research outcomes. Particularly, the contributions of this thesis are threefold: (1) a proof-of-concept to leverage FL for IoT security, where FL based scheme is proposed for IoT intrusion detection showing its outperformance across the centralized and on-device learning (2) multi-criteria client selection for optimal IoT FL, where the number of clients is maximized in each round and the clients resources are studied to predict those able to successfully complete the training task and (3) adaptive upgrade of client resources for improving the quality of FL model, where the contributions of the clients updates are measured and accordingly available resources are allocated among the clients to benefit from their high-quality data and to reach the target global model performance. The efficiency and robustness of the proposed approaches have been proved through various prototypes and thorough experiments.

Titre traduit

Sélection adaptative des clients et mise à niveau des ressources pour un Apprentissage fédéré robuste

Résumé traduit

Par la faute des problèmes de confidentialité et les perspectives vers l’apprentissage profond, les quatre dernières années ont été marquées par une transformation dramatique dans l’application de l’Apprentissage Machine (AM). L’apprentissage fédéré (Federated Learning, FL), un modèle robuste et innovant, a surpassé les systèmes centralisés et l’analyse sur site, pour devenir une nouvelle conception dans la mise en oeuvre de l’AM. Dans ce type d’apprentissage, concerné par la confidentialité de données, plutôt que d’envoyer des données dans le nuage, des modèles d’AM sont formés localement à même les dispositifs. Les modèles générés sont ensuite envoyés au serveur pour agrégation, produisant un modèle global amélioré.

Une série de recherche se poursuit actuellement ciblant différents aspects de FL. Néanmoins, l’application de FL et sa performance dans des scénarios de vrai-vie restent modérées vu sa limitation dans la sélection des clients et dans la réduction de prix de communication. Dans ce contexte, cette thèse prend en mesure de répondre aux défis posés par les dernières recherches. Particulièrement, les contributions de cette thèse portent sur les aspects suivants : (1) une preuve de concept pour intégrer FL dans l’application de sécurité Internet des Objets (IdO) : une nouvelle approche a été proposée pour la détection d’intrusion IdO, et a montré sa robustesse par rapport à l’apprentissage centralisé et sur l’appareil, (2) une approche multicritère de sélection de clients pour apprentissage fédéré a été proposée, tenant compte les ressources clients (UCT, mémoire, énergie et temps) où le nombre de clients est maximisé pour chaque cycle, et (3) mise à niveau adaptative des ressources clients afin de raffiner la qualité du modèle FL. Ainsi, des ressources sont distribuées aux clients à la base de leurs contributions pour pouvoir bénéficier de leurs données de haute-qualité dans le but d’atteindre la performance souhaitée du modèle global. L’efficacité et la robustesse des approches proposées ont été vérifiées par de divers prototypes et des expériences approfondies.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 131-146).
Mots-clés libres:	apprentissage fédéré, internet des objets, selection multicritère, optimisation à deux niveaux, allocation des ressources, kubernetes
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Talhi, Chamseddine
Codirecteur:	Codirecteur Mourad, Azzam
Programme:	Doctorat en génie > Génie
Date de dépôt:	26 mai 2022 15:06
Dernière modification:	26 mai 2022 15:06
URI:	https://espace.etsmtl.ca/id/eprint/2992

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt