La vraie utilité de l’adaptation des paramètres des couches de normalisation d’un CNN en Fully Test Time Adaptation

Baklouti, Ghassen (2023). La vraie utilité de l’adaptation des paramètres des couches de normalisation d’un CNN en Fully Test Time Adaptation. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

Avec les résultats prometteurs achevés par les méthodes qui se basent sur l’approche du Fully Test Time Adaptation, la communauté de la vision par ordinateur apporte un intérêt de recherche de plus en plus important pour étudier cette approche. L’élément caractéristique de cette approche est qu’elle abandonne l’adaptation d’un réseau de neurones à un changement de distribution de données lors de la phase d’apprentissage pour restreindre cet ajustement à la phase d’inférence pour chaque nouveau lot de test. Dans la littérature, la plupart des méthodes qui étudient cette approche focalisent sur l’adaptation des paramètres des couches de normalisation des CNNs, ce qui permet d’obtenir des bons résultats. Ainsi la question qui se pose, est ce que vraiment on a besoin d’adapter tous les paramètres des couches de normalisation pour achever ces résultats ? Pour répondre à cette question on propose ce travail pour étudier l’utilité et l’efficacité d’adapter les différents paramètres des couches de normalisation d’un CNN lors du FTTA. Dans ce contexte, on a proposé une étude comparative qui discute l’effet de divers éléments sur l’efficacité de l’application du FTTA à la segmentation bimodale des tumeurs de la tête et du cou en utilisant les deux modalités CT-Scan et PET-Scan. Les résultats obtenus montrent que les paramètres à adapter représentent l’élément le plus critique en appliquant l’approche FTTA et prouvent que le gain achevé en adaptant les paramètres appris par le réseau (alpha et beta) des couches de normalisation d’un CNN est négligeable, en comparaison au gain obtenu en choisissant les bons paramètres statistiques de ces couches. Ceci pose une vraie question sur l’utilité d’adapter les paramètres alpha et beta souvent utilisé en FTTA dans la littérature. Pour généraliser ces résultats, on a étendu notre étude vers un scénario de classification d’images naturelles en utilisant la base CIFAR. Les résultats obtenus pour ce deuxième scénario confirment bien nos premiers résultats et l’interrogation posée. Le code de ce projet se trouve dans le répertoire GitHub suivant : https://github.com/ghassenbaklouti/FTTA-For-HNTS.

Titre traduit

The real usefulness of adapting batch normalization parameters in Fully Test Time Adaptation

Résumé traduit

With the promising results of Fully Test Time Adaptation methods, the computer vision community has increased its research interest in thoroughly investigating this approach. The fundamental feature of a Fully Test Time Adaptation method is that it foregoes updating a neural network to a data shift during the learning phase, limiting the adaptation to the inference phase on each new test batch. Examining the literature, we found that most works studying this approach focus on updating batch normalization parameters. While the obtained results are encouraging, one interesting question arises : do we really need to update all the batch normalization parameters to increase the model performance in inference ? To answer this question, we propose to study the real usefulness of adapting batch normalization parameters in Fully Test Time Adaptation. In this context, we have carried out a comparative study to illustrate how FTTA performs on models built for head and neck tumor segmentation from CT-Scan and PET-Scan under various settings. Our findings show that the parameters to be adapted in FTTA represent the most critical factor to be considered. It also shows that the gain obtained by updating the batch norm parameters (alpha and beta) is negligible compared to the improvement obtained by setting the right batch norm statistical parameters that correspond to the actual batch test. This casts doubt on the usefulness of updating the batch normalization’s scale and bias parameters often used in FTTA in the literature. For more generalizability, we extended our study to a second scenario related to natural image classification using the CIFAR dataset. The new results confirm our first findings, strengthening our doubt about the utility of adapting the batch normalization’s parameters in FTTA. The code of this project can be found in the following GitHub repository : https://github.com/ghassenbaklouti/FTTA-For-HNTS.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire". Comprend des références bibliographiques (pages 67-70).
Mots-clés libres:	fully test time adaptation, paramètres à adapter des couches de normalisation, segmentation bimodale des tumeurs de la tête et du cou, CT-Scan, Pet-Scan, CIFAR
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Ben Ayed, Ismail
Codirecteur:	Codirecteur Bahig, Houda
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	01 févr. 2024 14:22
Dernière modification:	01 févr. 2024 14:22
URI:	https://espace.etsmtl.ca/id/eprint/3335

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt