Facial expression recognition in videos

Abbasnejad, Mohammadamin (2020). Facial expression recognition in videos. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

Facial expression recognition is considered as the most effective, naturally distinguished way for humans to communicate emotions, express their feelings, to clarify and emphasis and more generally to regulate interactions with other people. From the psychology point of view, remarkable effort have been made to realize how humans interpret and perceive facial expressions in term of mental models of emotions and effective states.

Over the past decade, we have witnessed extensive progress in machine learning and human computer interactions. Those progresses and the importance of Facial Expression Recognition in a number of applications in areas such as human computer interaction, multimedia communication, robotics and video surveillance, draw a lot of attention in computer vision community to utilise existing massive calculation tools and technologies to design algorithms in which humans interact with computers in a novel way.

As this domain is still a challenging problem due to the complexity of movements of face components and temporal variations of expressions, in this research, our goal is to present a model that is able to fully model the temporal information as well as appearance features for recognizing six basic emotions (happy, sadness, anger, fear, surprise, disgust). Since lack of data is major problem in the area of computer vision and machine learning, we study methods to overcome this challenge. We show how the large data requirements for deep learning can be alleviated using synthetic data focusing on facial expression recognition problem. We investigate the use of synthetic facial expression data to circumvent the large data requirements and report on the effects of this approach for deep learning based expression recognition.

For efficient and effective learning process we have implemented and performed extensive experiments on different well-known algorithms and models including, LBP TOP, Support vector machines, 3D neural networks and Recurrent neural networks. We evaluate and compare our methods on different publicly available datasets where the performances, merits and demerits are discussed and showed.

Titre traduit

Reconnaissance des expressions faciales dans les vidéos

Résumé traduit

La reconnaissance des expressions faciales est considérée comme le moyen le plus efficace et le plus naturel pour l’homme de communiquer ses émotions, d’exprimer ses sentiments, de clarifier et d’accentuer et, plus généralement, de réguler ses interactions avec les autres personnes. Du point de vue de la psychologie, des efforts remarquables ont été faits pour réaliser comment les humains interprètent et perçoivent les expressions faciales en termes de modèles mentaux d’émotions et d’états effectifs.

Au cours de la dernière décennie, nous avons assisté à des progrès considérables en matière d’apprentissage machine et d’interactions homme-machine. Ces progrès et l’importance de la reconnaissance des expressions faciales dans un certain nombre d’applications dans des domaines tels que l’interaction homme-machine, la communication multimédia, la robotique et la vidéosurveillance, attirent beaucoup d’attention dans la communauté de la vision par ordinateur pour utiliser les outils et technologies de calcul massif existants afin de concevoir des algorithmes dans lesquels les humains interagissent avec les ordinateurs d’une manière nouvelle.

Comme ce domaine reste un problème difficile en raison de la complexité des mouvements des composants du visage et des variations temporelles des expressions, notre objectif dans cette recherche est de présenter un modèle capable de modéliser entièrement les informations temporelles ainsi que les caractéristiques de l’apparence pour reconnaître six émotions de base (bonheur, tristesse, colère, peur, surprise, dégoût). Comme le manque de données est un problème majeur dans le domaine de la vision par ordinateur et de l’apprentissage machine, nous étudions des méthodes pour surmonter ce défi. Nous montrons comment les grandes exigences en matière de données pour l’apprentissage profond peuvent être allégées en utilisant des données synthétiques axées sur le problème de la reconnaissance des expressions faciales. Nous étudions l’utilisation de données synthétiques sur les expressions faciales pour contourner les exigences importantes en matière de données et nous rendons compte des effets de cette approche pour la reconnaissance des expressions basée sur l’apprentissage profond.

Pour un processus d’apprentissage efficace et efficient, nous avons mis en oeuvre et réalisé des expériences approfondies sur différents algorithmes et modèles bien connus, notamment LBP-TOP, les machines à vecteurs de support, les réseaux neuronaux 3D et les réseaux neuronaux récurrents. Nous évaluons et comparons nos méthodes sur différents ensembles de données disponibles publiquement où les performances, les mérites et les démérites sont discutés et montrés.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis, information technology engineering". Comprend des références bibliographiques (pages 57-62).
Mots-clés libres:	reconnaissance des expressions, systèmes multi-classificateurs, SVMs exemplaires, méthodes de sousespace aléatoires, adaptation de domaine, architectures d’apprentissage profond, réseaux de neurones convolutifs
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Ratté, Sylvie
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	14 juin 2021 17:39
Dernière modification:	14 juin 2021 17:39
URI:	https://espace.etsmtl.ca/id/eprint/2666

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt