Reconstructing, transferring and editing of 3D surfaces

Ghafourzadeh, Donya (2021). Reconstructing, transferring and editing of 3D surfaces. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (18MB) | Prévisualisation

Résumé

The authoring of realistic 3D faces and making a 3D character ready for animation are timeconsuming and tedious tasks. This thesis first addresses the problem of transferring the animation setup between 3D characters. We transfer skeletons and skinning weights between characters with distinct mesh topologies. Our pipeline takes as inputs a source character rig (mesh, hierarchy of joints, and skinning weights) and a target character mesh. We compute joint locations and orientations that embed the source skeleton in the target mesh, as well as skinning weights to bind the target geometry to the new skeleton. We first compute the geometric correspondence between source and target meshes. The resulting geometric correspondence is then used to formulate attribute transfer as an energy minimization and filtering problem. We demonstrate our approach on a variety of source and target bipedal characters, varying in mesh topology and morphology.

Afundamental task of transferring animation is to establish an accurate geometric correspondence between the two characters. State-of-the-art mapping methods that exist today are globally good, but imperfections often exist and are often localized to a specific region. Consequently, we propose a novel approach to improve a given surface mapping through local refinement. The approach receives an established mapping between two surfaces and follows four phases: (i) creation of a sparse set of landmarks in mismatching regions; (ii) segmentation with a low-distortion region-growing process based on flattening the segmented parts; (iii) optimization of the deformation of segmented parts to align the landmarks in the planar parameterization domain; and (iv) aggregation of the mappings from segments to update the surface mapping. In addition, we propose a new approach to deform the mesh in order to meet constraints (in our case, the landmark alignment of phase (iii)). We incrementally adjust the cotangent weights for the constraints and apply the deformation in a fashion that guarantees that the deformed mesh will be free of flipped faces and will have low conformal distortion. Our new deformation approach, Iterative Least Squares Conformal Mapping (ILSCM), outperforms other low-distortion deformation methods.

Lastly, we propose an approach to construct realistic 3D facial morphable models (3DMM) that allows an intuitive facial attribute editing workflow. Current face modeling methods using 3DMM suffer from a lack of local control. We thus create a 3DMM by combining local part-based 3DMM for the eyes, nose, mouth, ears, and facial mask regions. Our local PCA-based approach uses a novel method to select the best eigenvectors from the local 3DMM to ensure that the combined 3DMM is expressive, while allowing accurate reconstruction. The editing controls we provide to the user are intuitive as they are extracted from anthropometric measurements found in the literature. Out of a large set of possible anthropometric measurements, we filter those that have meaningful generative power given the face data set. We bind the measurements to the part-based 3DMM through mapping matrices derived from our data set of facial scans.

Titre traduit

Reconstruction, transfert et édition de surfaces 3D

Résumé traduit

La création de personnages et de visages réalistes est fastidieuse. Cette thèse commence par traiter le transfert de la structure d’animation d’un personnage 3D à un autre. Nous transférons l’armature et les poids de sommets entre des personnages ayant la même topologie de maillage. Notre approche prend en entrée l’armature source (maillage, hiérarchie de joints et poids de sommets) ainsi que le maillage du personnage cible. Nous calculons la position et l’orientation des joints qui incrustent l’armature dans le maillage cible, tout en déterminant les poids qui associent le maillage à l’armature. Pour ce faire, nous calculons la correspondance entre les maillages source et cible. Cette correspondance sert à formuler le transfert en une minimisation d’énergie complémentée d’un filtrage. Nous démontrons notre approche sur une variété de personnages, topologies de maillages et morphologies.

Une opération fondamentale pour le transfert d’animation est d’établir une correspondance géométrique précise entre les deux personnages. Les méthodes de correspondances de l’état de l’art donnent des résultats globalement bons, mais entraînent souvent des imperfections localisées. En conséquence, nous proposons une nouvelle approche pour améliorer une correspondance donnée par raffinement local. L’approche procède en quatre phases : (i) création d’un ensemble épars de marqueurs dans les régions erronées; (ii) segmentation à basse distorsion par dilatation de région et aplatissement; (iii) optimisation de la déformation des segments pour aligner les marqueurs dans le domaine 2D; et (iv) agrégation des correspondances des différents segments pour mettre à jour la correspondance globale. De plus, nous proposons une nouvelle approche de déformation de maillage pour aligner les marqueurs. Nous ajustons progressivement les poids cotangents et appliquons la déformation de sorte à éviter l’inversion des triangles tout en maintenant une faible distorsion. Notre nouvelle approche, Iterative Least Squares Conformal Mapping (ILSCM), surpasse les autres méthodes de déformation.

Finalement, nous proposons une approche pour construire des modèles de morphage 3D (3DMM) de visages avec un contrôle intuitif d’édition. Les méthodes actuelles de 3DMM manquent de contrôle. Nous créons un 3DMM en combinant des 3DMM locaux pour les yeux, le nez, la bouche, les oreilles et le masque facial. Nous proposons une nouvelle approche de sélection des meilleurs vecteurs propres des différents 3DMM locaux pour s’assurer que le 3DMM combiné est expressif et précis. Les contrôles exposés à l’utilisateur proviennent de la littérature en anthropométrie. D’un vaste ensemble de mesures anthropométriques, nous sélectionnons celles qui permettent de reconstruire avec précision notre base de données. Nous associons les mesures aux vecteurs propres des 3DMM par des matrices de correspondances calculées à partir d’une base de données de visages numérisés.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 111-119).
Mots-clés libres:	infographie, animation, modélisation de formes, modèles de géométrie maillée
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Paquette, Eric
Programme:	Doctorat en génie > Génie
Date de dépôt:	03 nov. 2021 15:35
Dernière modification:	03 nov. 2021 15:35
URI:	https://espace.etsmtl.ca/id/eprint/2778

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt