Architecture d’un réseau décentralisé d’apprentissage machine

Duchesne, Michael (2023). Architecture d’un réseau décentralisé d’apprentissage machine. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

Plusieurs avancées majeures dans le monde de l’intelligence artificielle, combiné à l’augmentation massive des performances de nos ordinateurs, ont récemment propulsé l’adoption de l’intelligence artificielle dans la vie de tous les jours. En effet, il s’agit d’une technologie très versatile avec d’innombrables cas d’utilisation. Cependant, le processus d’apprentissage requiert beaucoup de données qui sont souvent collectées et centralisées dans des entrepôts de données hors du contrôle de l’utilisateur. Avec raison, cela cause un certain inconfort chez plusieurs utilisateurs, qui craignent que leurs données soient utilisées à leur détriment. D’un autre côté, certains cas d’utilisation ne peuvent être exploré puisque le partage des données des utilisateurs est régi par certaines lois. Par exemple, les données provenant du milieu médical ou financier ne peuvent être partager librement. Afin de remédier à ces problèmes, l’apprentissage fédéré a été proposé afin de laisser le contrôle sur les données à l’utilisateur. Avec cette approche, les utilisateurs entraînent un modèle local sur leur appareil avec leurs données et partagent le modèle à un serveur central qui fera l’agrégation du modèle de tous les utilisateurs. Il s’agit d’une approche très intéressante et prometteuses, mais qui augmente la complexité de l’entraînement.

Une approche inspirée de l’apprentissage fédéré sera proposée. Cette nouvelle approche, décentralisé et inclusive, cherche à créer un système qui permet à plusieurs entités indépendantes et autonomes de collaborer pour entraîner un modèle. En effet, elle laisse entièrement le contrôle de l’entraînement et de l’aggrégation de modèle à chaque participant. Ce document détaille l’architecture, l’implémentation ainsi que les résultats obtenus par cette solution.

Titre traduit

Architecture of a decentralized network for machine learning

Résumé traduit

Major advancements in artificial intelligence (AI) combined with the constantly increasing computing power pushed adoption of AI in our everyday life. However, the learning process requires to collect and centralize user’s data in datacenters outside of the user’s control. This practice raises some concerns from users who fear the misuse of their data. On the other side, some use cases cannot be explored as it requires data that is forbidden to share. For example, financial or medical data. To remedy to these problems, a federated approach was suggested. In this approach, users train a model locally on their device and only have to share the global model with a centralized server. Its role is to aggregate models from all users. This approach inspired a lot new variants.

This paper proposes a new decentralised and inclusive version. It recognizes the sovereignty of the different actors and gives total control on the training and aggregation of models. This document document details the architecture, the implementation and the results of this approach.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire en génie logiciel". Comprend des références bibliographiques (pages 147-150).
Mots-clés libres:	apprentissage fédéré, apprentissage décentralisé, divergence de poids
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Zhang, Kaiwen
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	30 oct. 2023 14:17
Dernière modification:	30 oct. 2023 14:17
URI:	https://espace.etsmtl.ca/id/eprint/3312

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt