Fair and secure federated adversarial training

Khan, Muhammad Kaleem Ullah (2026). Fair and secure federated adversarial training. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

Training machine learning models that are simultaneously private, robust, and deployable on resource-constrained edge devices requires resolving three tensions that have largely been treated in isolation. This thesis addresses all three through a unified sequence of contributions in Federated Adversarial Training (FAT). The first tension is architectural: centralized aggregation in federated learning introduces a single point of failure and a source of bias, yet decentralizing aggregation naively degrades model quality. We resolve it with FL-EGM, a framework in which each training round elects the best-performing participating node as the aggregator, and that node subsequently refines the aggregated model on its own local data. This Enhanced Global Model (EGM) step converts the aggregator’s privileged data access from a liability into an asset, delivering accuracy that matches or exceeds centralized baselines (up to 98.5%), converging faster, and remaining stable even when the aggregator is biased, all while eliminating the fixed server bottleneck.

The second tension is computational: AT, the most effective known defence against evasion attacks, imposes a multiplicative cost on every participating client, making it infeasible for resource constrained edge devices. We resolve it with FedHAT, a framework that stratifies clients by resource capacity. RR clients perform hybrid AT with attack diversification across PGD and FFGSM; LR clients contribute standard training on clean data, supplying distributional diversity that the adversarial tier alone cannot provide. The two signals are combined via group-weighted aggregation followed by EGM refinement. Across six datasets and attack types, under both IID and non-IID conditions, FedHAT surpasses state-of-the-art baselines and improves robustness against unseen attacks purely through federation-level attack diversification, with ablations confirming that diversification and EGM contribute independently, all without overburdening constrained devices.

The third tension is energetic: even tiered frameworks that assign lighter workloads to weaker devices eventually deplete them, because battery levels decline across rounds, and no existing method adapts training intensity to this evolution. We resolve it with EARS (Energy-Aware Robust Selection), which introduces a per-client state machine, the Heterogeneous Adaptive Adversarial Training Intensity (H-AATI), that continuously adjusts attack strength from full PGD to FGSM to standard training as each device’s battery and estimated affordable rounds decline. A companion multi-objective client selector preferentially schedules well-resourced clients for intensive rounds. Across four benchmark datasets and ten baseline comparisons, EARS achieves 100% client survival, 40-43% lower cumulative energy consumption, and robust accuracy within 1-5 percentage points of the strongest energy-agnostic baselines, whereas existing methods deplete 76-100% of low-end devices before training completes. Each percentage point of robustness conceded relative to the strongest baseline buys roughly a 40% reduction in energy and an 80% improvement in survival, making energy-aware adversarial training not an efficiency optimization but a correctness requirement for heterogeneous deployments. Together, the three contributions constitute a coherent progression from decentralized aggregation, through resource-aware role assignment, to energy-adaptive intensity control, demonstrating that robustness, privacy, and sustainability are jointly achievable in heterogeneous federated environments.

Titre traduit

Apprentissage fédéré adversarial équitable et sécurisé

Résumé traduit

L’entraînement de modèles d’apprentissage automatique à la fois privés, robustes et déployables sur des dispositifs périphériques (edge devices) à ressources limitées nécessite de résoudre trois tensions qui ont largement été traitées de manière isolée. Cette thèse aborde ces trois aspects à travers une suite unifiée de contributions en Federated Adversarial Training (FAT).

La première tension est architecturale : l’agrégation centralisée en apprentissage fédéré introduit un point de défaillance unique ainsi qu’une source de biais, mais la décentralisation naïve de l’agrégation dégrade la qualité du modèle. Nous résolvons ce problème avec FL-EGM, un cadre dans lequel, à chaque tour d’entraînement, le meilleur nœud participant en termes de performance est élu comme agrégateur, et ce noeud affine ensuite le modèle agrégé sur ses propres données locales. Cette étape de Enhanced Global Model (EGM) transforme l’accès privilégié de l’agrégateur aux données d’un désavantage en un atout, offrant une précision équivalente ou supérieure aux références centralisées (jusqu’à 98,5%), une convergence plus rapide et une stabilité même en présence d’un agrégateur biaisé, tout en éliminant le goulot d’étranglement du serveur fixe.

La deuxième tension est computationnelle : l’Adversarial Training (AT), la défense la plus efficace connue contre les attaques d’évasion, impose un coût multiplicatif à chaque client participant, ce qui la rend irréaliste pour des dispositifs périphériques à ressources limitées. Nous résolvons ce problème avec FedHAT, un cadre qui stratifie les clients selon leur capacité de ressources. Les clients à fortes ressources effectuent un AT hybride avec diversification des attaques via PGD et FFGSM ; les clients à faibles ressources contribuent à un entraînement standard sur des données propres, fournissant une diversité distributionnelle que la seule couche adversariale ne peut pas offrir. Les deux signaux sont combinés via une agrégation pondérée par groupe suivie d’une étape de raffinement EGM, permettant d’obtenir une robustesse supérieure aux références de l’état de l’art dans des conditions IID et non-IID, et d’améliorer la robustesse face à des attaques non vues uniquement grâce à la diversification des attaques au niveau de la fédération, sans surcharger les dispositifs contraints ; des études d’ablation confirment que la diversification des attaques et l’EGM contribuent indépendamment.

La troisième tension est énergétique : même les cadres hiérarchisés qui assignent des charges plus légères aux dispositifs les plus faibles finissent par les épuiser, car les niveaux de batterie diminuent au fil des tours, et aucune méthode existante n’adapte l’intensité d’entraînement à cette évolution. Nous résolvons ce problème avec EARS (Energy-Aware Robust Selection), qui introduit une machine à états par client, la Heterogeneous Adaptive Adversarial Training Intensity (H-AATI), ajustant en continu la force des attaques de PGD complet à FGSM puis à un entraînement standard, en fonction de la batterie de chaque appareil et du nombre estimé de tours restants supportables. Un sélecteur multi-objectif complémentaire privilégie les clients disposant de meilleures ressources pour les rounds intensifs. Sur quatre jeux de données de référence et dix comparaisons avec des baselines, EARS atteint une survie des clients de 100%, une réduction de 40 à 43% de la consommation énergétique cumulée, et une robustesse située à 1–5 points de pourcentage des meilleures méthodes non sensibles à l’énergie, alors que les méthodes existantes épuisent 76 à 100% des dispositifs bas de gamme avant la fin de l’entraînement. Chaque point de pourcentage de robustesse cédé par rapport à la meilleure référence permet environ 40% de réduction d’énergie et 80% d’amélioration de la survie, faisant de l’entraînement adversarial sensible à l’énergie non pas une simple optimisation d’efficacité mais une exigence de correction pour les déploiements hétérogènes. Ensemble, ces trois contributions constituent une progression cohérente allant de l’agrégation décentralisée, à l’allocation de rôles consciente des ressources, jusqu’au contrôle adaptatif de l’intensité énergétique, démontrant que robustesse, confidentialité et durabilité peuvent être atteintes conjointement dans des environnements fédérés hétérogènes.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 135-147).
Mots-clés libres:	apprentissage fédéré, entraînement adversarial, robustesse adversariale, sélection d’agrégateur, modèle global amélioré, informatique en périphérie (edge computing), efficacité énergétique, dispositifs hétérogènes, agrégation décentralisée
Directeur de mémoire/thèse:	Directeur(-trice) Zhang, Kaiwen
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Talhi, Chamseddine
Programme:	Doctorat en génie > Génie
Date de dépôt:	23 sept. 2026 18:20
Dernière modification:	23 sept. 2026 18:20
URI:	https://espace.etsmtl.ca/id/eprint/4096

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt