Structural pruning of convolutional neural networks for efficient and sustainable model optimization

Tofigh, Sadegh (2026). Structural pruning of convolutional neural networks for efficient and sustainable model optimization. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

The proliferation of Deep Convolutional Neural Networks (CNNs) has fundamentally transformed the landscape of computer vision and autonomous systems. However, the state-of-the-art performance of these models is largely predicated on extreme over-parameterization, leading to a "Red AI" paradigm characterized by massive computational overhead and significant environmental impact. While structural pruning has emerged as a primary solution for deploying these models on resource-constrained edge devices, current methodologies suffer from three critical bottlenecks: a heavy reliance on original training data for saliency analysis, an expensive "search tax" incurred by iterative greedy algorithms, and a lack of theoretical grounding in the functional interdependencies between neural layers. This dissertation addresses these challenges by establishing a mathematically grounded, data-free, and sustainable framework for structural model compression.

The core theoretical contribution of this research is the move away from empirical, magnitude-based heuristics toward a principled investigation of signal propagation. We derive analytical upper bounds for the Average Absolute Error (AAE) propagated from a pruned layer to its successor. By modeling the network as a sequence of interdependent manifolds rather than isolated layers, this framework characterizes the "cascading impact" of structural modifications. We further prove the γ-weak property of our importance function, which provides a rigorous mathematical guarantee for the stability and convergence of the selection process. This theoretical foundation allows the framework to identify redundancy using only the intrinsic algebraic properties of weight tensors, facilitating a completely data-free pruning process that preserves the network’s representational fidelity without requiring access to sensitive training distributions.

To resolve the computational inefficiencies of traditional pruning, this thesis introduces an oblivious (single-pass) selection paradigm. Conventional greedy algorithms, while locally optimal, impose complexity tax due to their iterative re-inference requirements. Our research identifies a "complexity-performance gap," demonstrating that a well-informed oblivious algorithm can achieve predictive accuracy parity with greedy variants at a fraction of the temporal cost. This efficiency ensures that the optimization process itself is sustainable, preventing the carbon footprint of the pruning phase from outweighing the energy savings gained during model inference.

A significant structural innovation presented in this work is the transition from binary "pruning-as-elimination" to a more granular strategy of non-zero filter replacement. In many high-sensitivity architectural regions, the total removal of a filter (replacement with a "zero filter") leads to a catastrophic collapse of the signal manifold. We propose an optimization-based framework that substitutes redundant filters with mathematically optimized, lower dimensional alternatives.

This replacement strategy preserves the "knowledge flow" of the network, providing a more stable architectural initialization. This approach is particularly effective in data-constrained environments or scenarios where post-pruning fine-tuning is restricted, offering a superior trade-off between structural sparsity and accuracy.

Beyond algorithmic performance, this thesis operationalizes the concept of environmental sustainability through the introduction of the Resource Efficiency (RE) metric. The RE metric provides a standardized protocol to quantify the total computational lifecycle of model optimization, accounting for saliency analysis, selection, and recovery. We further propose a hardware agnostic carbon footprint model to estimate the CO2 equivalents (CO2e) of the pruning lifecycle. This shifts the evaluation of compression algorithms from static inference-speed benchmarks to a comprehensive lifecycle analysis, ensuring that the development of efficient AI is itself an efficient process.

The proposed methodologies were validated across a spectrum of standard benchmarks, including VGG, ResNet, and MobileNet architectures, evaluated on the CIFAR-10 and ImageNet datasets. The results demonstrate that the proposed data-free framework consistently achieves state-of-the-art (SOTA) performance, maintaining high accuracy even at aggressive pruning scales. The findings verify that oblivious selection and non zero replacement provide a robust, fast, and simple pipeline for model optimization.

The impact of this research is evidenced by its dissemination in premier academic venues. The theoretical derivations and data-free paradigms have been peer-reviewed and published in IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), IEEE Transactions on Neural Networks and Learning Systems (TNNLS), and IEEE Signal Processing Letters. These publications establish the framework as a fundamental contribution to the field of sustainable artificial intelligence.

This dissertation provides a comprehensive solution to the inefficiencies of modern neural network compression. By bridging the gap between mathematical optimization theory and practical engineering, the research establishes a new standard for data-blind, interdependency-aware, and environmentally responsible model optimization. The framework serves as a vital tool for the next generation of high-performance intelligence, enabling the deployment of complex neural architectures on the edge while adhering to the global imperatives of "Green AI."

Titre traduit

Élagage structurel des réseaux neuronaux convolutionnels pour une optimisation efficace et durable des modèles

Résumé traduit

La prolifération des réseaux neuronaux convolutionnels profonds (CNN) a profondément transformé le paysage de la vision par ordinateur et des systèmes autonomes. Toutefois, les performances de pointe de ces modèles reposent largement sur une sur-paramétrisation extrême, conduisant à un paradigme de « Red AI » caractérisé par une surcharge computationnelle massive et un impact environnemental significatif. Bien que l’élagage structurel se soit imposé comme une solution majeure pour le déploiement de ces modèles sur des dispositifs embarqués aux ressources limitées, les méthodologies actuelles souffrent de trois goulets d’étranglement critiques : une forte dépendance aux données d’entraînement originales pour l’analyse de saillance, un « coût de recherche » élevé induit par des algorithmes gloutons itératifs, et une absence d’ancrage théorique concernant les interdépendances fonctionnelles entre les couches neuronales. Cette thèse répond à ces défis en établissant un cadre de compression structurelle mathématiquement fondé, sans données, et durable.

La contribution théorique centrale de cette recherche consiste à dépasser les heuristiques empiriques fondées sur la magnitude au profit d’une investigation principielle de la propagation du signal. Nous dérivons des bornes supérieures analytiques pour l’erreur absolue moyenne (Average Absolute Error, AAE) propagée d’une couche élaguée vers la suivante. En modélisant le réseau comme une séquence de variétés interdépendantes plutôt que comme un ensemble de couches isolées, ce cadre caractérise l’« impact en cascade » des modifications structurelles. Nous démontrons en outre la propriété de γ-weak de notre fonction d’importance, fournissant une garantie mathématique rigoureuse quant à la stabilité et à la convergence du processus de sélection. Cette base théorique permet d’identifier la redondance en exploitant uniquement les propriétés algébriques intrinsèques des tenseurs de poids, rendant possible un élagage entièrement sans données qui préserve la fidélité représentationnelle du réseau sans nécessiter l’accès à des distributions d’entraînement sensibles.

Afin de résoudre les inefficacités computationnelles de l’élagage traditionnel, cette thèse introduit un paradigme de sélection oblivious (en un seul passage). Les algorithmes gloutons conventionnels, bien que localement optimaux, imposent une taxe de complexité en raison de leurs exigences d’inférence itérative. Nos travaux mettent en évidence un « écart complexité-performance », démontrant qu’un algorithme oblivious bien informé peut atteindre une parité de précision prédictive avec les variantes gloutonnes pour un coût temporel nettement inférieur. Cette efficacité garantit que le processus d’optimisation lui-même demeure durable, évitant que l’empreinte carbone de la phase d’élagage ne dépasse les économies énergétiques réalisées lors de l’inférence du modèle.

Une innovation structurelle majeure présentée dans ce travail réside dans la transition d’un paradigme binaire d’« élagage par élimination » vers une stratégie plus fine de remplacement de filtres non nuls. Dans de nombreuses régions architecturales à forte sensibilité, la suppression totale d’un filtre (remplacement par un « filtre nul ») entraîne un effondrement catastrophique de la variété du signal. Nous proposons un cadre d’optimisation qui substitue les filtres redondants par des alternatives mathématiquement optimisées et de dimension inférieure. Cette stratégie de remplacement préserve le « flux de connaissance » au sein du réseau et fournit une initialisation architecturale plus stable. Elle s’avère particulièrement efficace dans des environnements contraints en données ou dans des scénarios où le ré-entraînement post-élagage est limité, offrant un compromis supérieur entre parcimonie structurelle et précision.

Au-delà des performances algorithmiques, cette thèse opérationnalise le concept de durabilité environnementale à travers l’introduction de la métrique d’efficacité des ressources (Resource Efficiency, RE). La métrique RE fournit un protocole standardisé pour quantifier le cycle de vie computationnel total de l’optimisation du modèle, en prenant en compte l’analyse de saillance, la sélection et la phase de récupération. Nous proposons également un modèle d’empreinte carbone indépendant du matériel afin d’estimer les équivalents CO2 (CO2e) du cycle de vie de l’élagage. Cette approche déplace l’évaluation des algorithmes de compression d’indicateurs statiques de vitesse d’inférence vers une analyse complète du cycle de vie, garantissant que le développement d’une IA efficiente soit lui-même un processus efficient. Les méthodologies proposées ont été validées sur un ensemble de bancs d’essai standards, incluant les architectures VGG, ResNet et MobileNet, évaluées sur les jeux de données CIFAR-10 et ImageNet. Les résultats démontrent que le cadre sans données proposé atteint de manière systématique des performances de pointe (state-of the-art, SOTA), en maintenant une haute précision même sous des taux d’élagage agressifs. Les résultats confirment que la sélection oblivious et le remplacement non nul constituent une chaîne d’optimisation robuste, rapide et simple.

L’impact de cette recherche est attesté par sa diffusion dans des revues académiques de premier plan. Les dérivations théoriques et les paradigmes sans données ont fait l’objet d’une évaluation par les pairs et ont été publiés dans IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), IEEE Transactions on Neural Networks and Learning Systems (TNNLS) et IEEE Signal Processing Letters. Ces publications établissent le cadre proposé comme une contribution fondamentale au domaine de l’intelligence artificielle durable.

Cette thèse propose ainsi une solution complète aux inefficacités de la compression moderne des réseaux neuronaux. En comblant le fossé entre la théorie de l’optimisation mathématique et l’ingénierie pratique, ce travail établit un nouveau standard pour une optimisation de modèles sans données, consciente des interdépendances et respectueuse de l’environnement. Le cadre développé constitue un outil essentiel pour la prochaine génération de systèmes intelligents haute performance, permettant le déploiement d’architectures neuronales complexes en périphérie tout en respectant les impératifs globaux de la « Green AI ».

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 129-135).
Mots-clés libres:	élagage structurel, IA verte, compression sans données, dépendance inter-couches, remplacement de filtres, efficacité des ressources
Directeur de mémoire/thèse:	Directeur(-trice) Nguyen, Kim Khoa
Programme:	Doctorat en génie > Génie
Date de dépôt:	03 août 2026 19:13
Dernière modification:	03 août 2026 19:13
URI:	https://espace.etsmtl.ca/id/eprint/4053

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt