Auto-filtrage des entrées par le complément spectral et des normalisations fréquentielles et l’utilisation de filtres en loi de puissance pour les réseaux de neurones convolutifs

Rougeau-Moss, Vincent (2021). Auto-filtrage des entrées par le complément spectral et des normalisations fréquentielles et l’utilisation de filtres en loi de puissance pour les réseaux de neurones convolutifs. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (110MB) | Prévisualisation

Résumé

Ce mémoire porte sur l’utilisation de procédés de prétraitement des images à l’aide du domaine de Fourier, afin d’améliorer les taux de précision des CNN (convolutional neural network) de classification d’images. Pour ce faire, trois nouvelles méthodes sont proposées. La première est la SFSC (Self-Filtering by the Spectral Complement) qui consiste à l’utilisation d’un auto-filtrage des entrées combiné à des combinaisons de normalisation et moyennage fréquentiels, afin de simplifier les images et les rendre plus simples à analyser par les CNN. La deuxième et troisième méthode portent sur un filtrage des images d’entrées ou de la sortie de la SFSC, à l’aide de filtres en loi de puissance qui évoluent au cours de l’apprentissage. L’efficacité de nos nouveaux procédés est vérifiée au travers d’expérimentations sur un total de 14 architectures uniques, ayant des poids aléatoires ou prédéfinis, pour trois types de tâche de classification d’images : la classification générale d’images naturelles (CIFAR), la classification de textures (DTD) et la classification fine des émotions du visage (KDEF). La forte polyvalence et l’adaptabilité de la SFSC lui ont permis d’améliorer tous les modèles utilisés, à l’exception du DenseNet et du Wide ResNet sur CIFAR, qui ont eu de légères pertes globales de moins de 1 % de précision. Quant aux filtres en loi de puissance, ceux-ci ne sont pas adaptés aux modèles pré-entraînés et fonctionnaient généralement moins bien que la SFSC, bien qu’ils l’aient dépassé dans certains cas. De futures recherches pourront utiliser nos méthodes et nos conclusions afin de les améliorer, les utiliser autrement avec les CNN ou développer de nouveaux procédés utilisant le domaine fréquentiel avec les CNN.

Titre traduit

Self-filtering of inputs by their spectral complement and frequency normalizations and the use of power-law filters for convolutional neural networks

Résumé traduit

This thesis studies the use of image preprocessing methods using the Fourier domain, in order to improve the accuracy rates of the CNNs (convolutional neural networks) for image classification. For this purpose, three new methods are proposed. The first is the SFSC (Self-Filtering by the Spectral Complement) which consists of the use of a self-filtering of the inputs combined with combinations of normalization and frequency averaging, in order to simplify the images and make them easier to analyze by CNNs. The second and third method consist in filtering the input images or the output of the SFSC using power-law filters which evolve during learning. The efficiency of our new processes is verified by experiments on a total of 14 unique architectures, with random or pre-trained weights, for three types of image classification tasks : the general classification of natural images (CIFAR), the classification of textures (DTD) and the fine-grained classification of facial emotions (KDEF). The high versatility and adaptability of the SFSC allowed it to improve all models used except DenseNet and Wide ResNet on CIFAR which exhibited slight overall losses of less than 1 % accuracy. As for the power-law filters, they are not suitable for pre-trained models and generally perform less well than the SFSC, although they have exceeded it in some cases. Future research may be based on our methods and conclusions in order to improve them, to use them differently with CNNs or to develop new methods using the frequency domain with CNNs.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire en génie électrique". Comprend des références bibliographiques (pages 163-176).
Mots-clés libres:	CNN, apprentissage profond, Fourier, prétraitement des images, analyse fréquentielle, normalisation, classification d’images
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Toews, Matthew
Programme:	Maîtrise en ingénierie > Génie électrique
Date de dépôt:	22 nov. 2021 18:20
Dernière modification:	22 nov. 2021 18:20
URI:	https://espace.etsmtl.ca/id/eprint/2783

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt