Automatisation des expressions faciales liées à l’activité physique

Boukhalfi, Tarik (2012). Automatisation des expressions faciales liées à l’activité physique. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (5MB) | Prévisualisation
Prévisualisation	PDF Télécharger (476kB) | Prévisualisation

Résumé

Les expressions faciales sont complexes à modéliser car elles sont dues à divers facteurs, principalement psychologiques, biomécaniques et sensoriels. Bien que les diverses techniques de capture faciale permettent d’atteindre un résultat réaliste, elles sont coûteuses et difficiles à utiliser dans un contexte d’interaction en temps réel. Un certain nombre d’outils et de techniques existent pour automatiser l’animation faciale liée à la parole ou à l’émotion, mais il n’existe pas d’outil permettant d’automatiser l’expression faciale liée à l’activité physique. Cela conduit souvent à des personnages peu réalistes, surtout lorsque les personnages en 3D effectuent des activités physiques intenses. Le but de cette recherche est de mettre en évidence le lien entre l’activité physique et l’expression faciale et de proposer une approche basée sur des données réelles afin d’améliorer le réalisme de l’expression faciale tout en laissant un contrôle créatif. Tout d’abord, des captures de mouvement ont été réalisées afin de recueillir des données liant les aspects biologiques, les aspects mécaniques et l’expression faciale. Il s’agissait de deux types de séances de capture, chacune permettant d’acquérir des données spécifiques et impliquant plusieurs participants. Ces données ont été utilisées afin d’entraîner les modèles d’apprentissage machine qui permettent de prédire les expressions faciales à partir des intrants tels que le mouvement du personnage 3D, les poids soulevés, etc. L’approche proposée peut être utilisée en temps réel, avec des animations pré-enregistrées ou par clés, ce qui la rend utilisable aussi bien pour le jeu vidéo que le film d’animation ou d’effets spéciaux.

Titre traduit

Automating facial expressions from physical activity

Résumé traduit

Facial expressions are complex to model since they involve various factors, mainly psychological, biomechanical and sensory. While facial performance capture provides good facial expressions, it is costly and difficult to use for real time interaction. A number of tools and techniques exist to automate the facial animation related to speech or emotion, but there are no tools available to automate the facial expression related to physical activity. This leads to unrealistic characters, especially when a 3D character performs intense physical activity. The purpose of this research is to highlight the link between physical activity and facial expression and propose a data-driven approach to realistically simulate the facial expression while leaving creative control. First, motion capture was used to gather information relating biological, mechanical and facial expressions data. This involved two different motion capture sessions, each gathering specific information and each involving several participants. This information was used to train machine learning models that can predict facial expressions from inputs such as the 3D character motion, the weights lifted, etc. The proposed approach can be used with realtime, pre-recorded or key-framed animations making it suitable for video games and movies as well.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise en génie concentration technologies de l'information". Bibliogr. : f. [43]-45.
Mots-clés libres:	Perception des visages. Animation par ordinateur. Apprentissage automatique. Biomécanique. Animation faciale, Apprentissage machine, Effort, Fatigue
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Paquette, Eric
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	27 août 2012 20:55
Dernière modification:	02 mars 2017 22:31
URI:	https://espace.etsmtl.ca/id/eprint/1049

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt