Modeling information flow through deep convolutional neural networks

Nasiri, Behnaz (2020). Modeling information flow through deep convolutional neural networks. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (12MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

In this work we investigate methods for optimizing deep convolutional neural networks (CNN) by 1) reducing the computational complexity and 2) improving classification performance for the task of transfer learning. Based on the work of Chaddad et al. (2019, 2017), the CNN is modeled as a Markov chain, where the filter output at a layer is conditionally independent of the rest of the network, given a set of previous layers. Filter banks at each layer are compressed using principal component analysis (PCA), where a reduced set of orthogonal basis filters are used to reduce the number of convolutions required while preserving classification accuracy. Information theory is then used to quantify the flow of image information through the network. Filter responses with low conditional entropy (CENT) are shown to be highly effective in image classification, and can be used as generic features for effective, noise resistant transfer learning. CENT feature analysis is demonstrated in various contexts including computer-assisted diagnosis of Alzheimer’s disease (AD) from 3D magnetic resonance images (MRI) of the human brain, and object classification in 2D photographs.

Titre traduit

Modélisation du flux d’informations à travers les réseaux de neurones profond

Résumé traduit

Dans ce travail, nous étudions des méthodes permettant d’optimiser les réseaux de neurones convolutionnels profonds en 1) réduisant la complexité des calculs et 2) en améliorant les performances de classification en utilisant l’apprentissage par transfert. Le CNN est modélisé comme une chaîne de Markov, où la sortie du filtre au niveau d’une couche est conditionnellement indépendante du reste du réseau, à partir d’un ensemble de couches précédentes. La théorie de l’information est ensuite utilisée pour quantifier le flux d’informations d’image à travers le réseau. Les réponses de filtre avec une entropie conditionnelle faible (CENT) se sont révélées très efficaces pour la classification des images, pour le diagnostic assisté par ordinateur de la maladie d’Alzheimer dans les images de résonance magnétique 3D (IRM) du cerveau humain et pour divers objets sur des photographies naturelles.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master's degree with thesis in electrical engineering". Comprend des références bibliographiques (pages 145-156).
Mots-clés libres:	apprentissage automatique, réseau de neurones convolutionnels, classification, apprentissage par transfert
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Toews, Matthew
Codirecteur:	Codirecteur Granger, Éric
Programme:	Maîtrise en ingénierie > Génie électrique
Date de dépôt:	27 juill. 2020 20:10
Dernière modification:	27 juill. 2020 20:10
URI:	https://espace.etsmtl.ca/id/eprint/2513

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt