The mechanics of CNN filtering with rectification

Frija-Altarac, Liam (2025). The mechanics of CNN filtering with rectification. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (6MB) | Prévisualisation

Résumé

This thesis is the first investigation of the mechanical properties of convolutional filtering with rectification through the lens of symmetric and antisymmetric convolutional kernels. Symmetric kernels cause image content to diffuse isotropically with no net displacement, whereas antisymmetric kernels cause directional displacement and attenuation effects when sequentially convolved at varying orientations. The speed of information displacement is linearly related to the ratio of antisymmetric vs total kernel energy. Symmetry properties are analyzed in the spectral domain via the discrete cosine transform (DCT), where the structure of small convolutional filters (e.g. 3 × 3 pixels) is dominated by low-frequency bases, specifically the DC Σ and gradient components ∇, which define the fundamental modes of information propagation.

Applying this analysis to trained CNN filters, we find that low-order frequency components (specifically DC and gradient bases) dominate, accounting for over 92% of classification performance in popular models such as VGG16 and ResNet50. The symmetry of kernels evolves with depth: early layers are predominantly antisymmetric, emphasizing oriented gradients, whereas deeper layers become increasingly symmetric, promoting diffusion. Furthermore, we observe that filters organize into correlated bipolar orientation structures across channels and layers, maintaining directional alignment between consecutive kernels while suppressing orthogonal activations. This work provides a systematic framework for analyzing, interpreting, and potentially guiding the design of improved architectures and learning algorithms through their geometric and spectral structure.

Titre traduit

La mécanique du filtrage dans les réseaux de neurones convolutifs avec rectification

Résumé traduit

Cette thèse constitue la première étude des propriétés mécaniques du filtrage convolutionnel avec rectification, étudiée sous l’angle des noyaux convolutionnels symétriques et antisymétriques. Les noyaux symétriques provoquent une diffusion isotrope du contenu de l’image sans déplacement net, tandis que les noyaux antisymétriques entraînent des effets de déplacement directionnel et d’atténuation lorsqu’ils sont convolués séquentiellement selon des orientations variables. La vitesse de déplacement de l’information est linéairement liée au rapport entre l’énergie antisymétrique et l’énergie totale du noyau. Les propriétés de symétrie sont analysées dans le domaine spectral à l’aide de la transformée en cosinus discrète (DCT), où la structure des petits filtres convolutionnels (par exemple 3 × 3 pixels) est dominée par les bases de basse fréquence, en particulier la composante continue DC Σ et les composantes de gradient ∇, qui définissent les modes fondamentaux de propagation de l’information.

En appliquant cette analyse aux filtres de CNN entraînés, nous constatons que les composantes fréquentielles d’ordre faible (notamment les bases DC et de gradient) dominent, représentant plus de 92% des performances de classification dans des modèles populaires tels que VGG16 et ResNet50. La symétrie des noyaux évolue avec la profondeur : les premières couches sont majoritairement antisymétriques, mettant en évidence les gradients orientés, tandis que les couches plus profondes deviennent progressivement plus symétriques, favorisant la diffusion. De plus, nous observons que les filtres s’organisent en structures d’orientation bipolaire corrélée à travers les canaux et les couches, maintenant une cohérence directionnelle entre les noyaux consécutifs tout en supprimant les activations orthogonales. Ce travail fournit un cadre systématique pour l’analyse, l’interprétation et, potentiellement, l’orientation de la conception d’architectures et d’algorithmes d’apprentissage améliorés à travers leur structure géométrique et spectrale.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master's degree with thesis". Comprend des références bibliographiques (pages 85-89).
Mots-clés libres:	réseaux de neurones convolutifs (cnn), interprétabilité mécanistique, transformée en cosinus discrète (dct), analyse spectrale, visualisation de filtres, propagation de l’information, filtrage linéaire, rectification
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Toews, Matthew
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	04 mars 2026 20:10
Dernière modification:	04 mars 2026 20:10
URI:	https://espace.etsmtl.ca/id/eprint/3835

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt