3D human body mesh generation from 2D images using body silhouette, bone orientation, and joints triangulation

Ajanohoun, Jordy (2021). 3D human body mesh generation from 2D images using body silhouette, bone orientation, and joints triangulation. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (6MB) | Prévisualisation

Résumé

In this dissertation, we address the problem of 3D human pose and shape estimation from multi-view images. Like similar methods, we make use of the Skinned Multi-Person Linear (SMPL) parametric body model, and try to regress the model parameters that best fit the shape and pose of the individual on the images. The main challenge lies in accurately inferring these parameters. To solve this problem, we first estimate 2D joints. Then, we use a linear algebraic triangulation to lift estimated 2D joints to 3D, resulting in a joint estimation with fewer errors. Next, we fit the 3D parametric body model to the 3D joints while imposing silhouette and bone orientation consistency between the 3D model and the detected individual in the images. We do so by minimizing a new set of objective functions through a two-step optimization process that provides a good initialization for the refinement of the shape and pose parameters. Finally, we demonstrate that the semantic position of joints in the body model and in the validation data sets do not exactly match. To account for this discrepancy we introduce, for each joint, a shift vector computed in the joint’s local space. Our fully automatic approach is evaluated on the widely used benchmarks Human3.6M and HumanEva, showing superior results with respect to state-of-the-art methods.

Titre traduit

Génération d’avatar 3D du corps humain à partir d’images 2D en utilisant la silhouette du corps, l’orientation des os et la triangulation des articulations

Résumé traduit

Dans ce mémoire, nous abordons le problème de l’estimation de la pose et de la morphologie 3D d’une personne à partir d’images multi-vues. Comme d’autres méthodes adressant ce problème, nous utilisons le modèle corporel paramétrique nommé Skinned Multi-Person Linear model (SMPL). L’objectif est alors de trouver les paramètres du modèle SMPL qui correspondent le mieux à la morphologie et à la pose 3D de l’individu sur les images. Le principal défi réside dans l’estimation précise de ces paramètres. Pour y parvenir, nous estimons dans un premier temps la localisation 2D des articulations de l’individu sur l’image. Ensuite, au moyen d’une triangulation algébrique linéaire, nous estimons la localisation 3D de ces articulations à partir des localisations 2D estimées. Cela permet d’obtenir une estimation de la localisation 3D des articulations plus fiable. Par la suite, nous faisons correspondre les articulations 3D et la silhouette 2D du modèle 3D du corps avec celles estimées de l’individu. Pour ce faire, nous introduisons un nouveau processus d’optimisation en deux étapes avec une nouvelle fonction objectif. Cette dernière permet d’obtenir une meilleure initialisation pour l’optimisation finale et simultanée de la pose et la morphologie. Enfin, nous mettons en lumière que la position sémantique des articulations dans le modèle paramétrique et dans les bases de données d’évaluation n’est pas identique. Pour tenir compte de cette divergence, nous introduisons, pour chaque articulation, un vecteur de recalage calculé dans le repère local de l’articulation. Notre approche entièrement automatique est évaluée sur les bases de données Human3.6M et HumanEva, montrant des résultats supérieurs aux méthodes de l’état de l’art.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in information technology engineering". Comprend des références bibliographiques (pages 51-55).
Mots-clés libres:	reconstruction 3D, estimation de pose et de morphologie humaine, modèle du corps, multi-vues, vision par ordinateur
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Vázquez, Carlos
Codirecteur:	Codirecteur Paquette, Éric
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	03 nov. 2021 15:38
Dernière modification:	02 nov. 2022 14:35
URI:	https://espace.etsmtl.ca/id/eprint/2769

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt