Surface Motion Capture Animation - Inria - Institut national de recherche en sciences et technologies du numérique
Thèse Année : 2017

Surface Motion Capture Animation

Animation de Capture de Mouvement de Surface

Adnane Boukhayma
  • Fonction : Auteur
  • PersonId : 986748

Résumé

As a new alternative to standard motion capture, 4D surface capture is motivated by the increasing demand from media production for highly realistic 3D content. Such data provides real full shape, appearance and kinematic information of the dynamic object of interest. We address in this work some of the tasks related to the acquisition and the exploitation of 4D data, as obtained through multi-view videos, with an emphasis on corpus of moving subjects. Some of these problems have already received a great deal of interest from the graphics and vision communities, but a number of challenges remain open in this respect. We address namely example based animation synthesis, appearance modelling, semantic motion transfer and variation synthesis. We first propose a method to generate animations using video-based mesh sequences of elementary movements of a shape. New motions that satisfy high-level user-specified constraints are built by recombining and interpolating the frames in the observed mesh sequences. Our method brings local improvement to the synthesis process through optimized interpolated transitions, and global improvement with an optimal organizing structure that we call the essential graph. We then address the problem of building efficient appearance representations of shapes observed from multiple viewpoints and in several movements. We propose a per subject representation that identifies the underlying manifold structure of the appearance information relative to a shape. The resulting representation encodes shape appearance variabilities due to viewpoint and illumination, with Eigen textures, and due to local inaccuracies in the geometric model, with Eigen warps. In addition to providing compact representations, such decompositions also allow for appearance interpolation and appearance completion. We additionally address the problem of transferring motion between captured 4D models. Given 4D training sets for two subjects for which a sparse set of semantically corresponding key-poses are known, our method is able to transfer a newly captured motion from one subject to the other. The method contributes a new transfer model based on non-linear pose and displacement interpolation that builds on Gaussian process regression. Finally, we propose a data based solution for generating variations of captured 4D models, for automatic 4D dataset augmentation and realism improvement. Given a few 4D models representing movements of the same type, our method builds a probabilistic low dimensional embedding of shape poses using Gaussian Process Dynamical Models, and novel variants of motions are obtained by sampling trajectories from this manifold using Monte Carlo Markov Chain. We can synthesise an unlimited number of variations of any of the input movements, and also any blended version of them. The output variations are statistically similar to the input movements but yet slightly different in poses and timings.
En tant qu’une nouvelle alternative à la MoCap standard, la capture de surface 4D est motivée par la demande croissante des produits médiatiques de contenu 3D très réaliste. Ce type de données fournit une information complète et réelle de la forme, l’apparence et la cinématique de l’objet dynamique d’intérêt. On aborde dans cet ouvrage certaines taches liées à l’acquisition et l’exploitation de données 4D, obtenues à travers les vidéos multi-vues, avec un intérêt particulier aux formes humaines en mouvement. Parmi ces problèmes, certains ont déjà reçu beaucoup d’intérêt de la part des communautés de vision par ordinateur et d’infographie, mais plusieurs challenges restent ouverts à cet égard. En particulier, nous abordons la synthèse d’animation basée sur des exemples, la modélisation d’apparence, le transfert sémantique de mouvement et la génération de variation de mouvement. On introduit premièrement une méthode pour générer des animations en utilisant des séquences de maillages de mouvements élémentaires d’une forme donnée. De nouveaux mouvements satisfaisant des contraintes haut-niveau sont construites en combinant et interpolant les trames des données observées. Notre méthode apporte une amélioration local au processus de la synthèse grâce à l’optimisation des transitions interpolées, ainsi qu’une amélioration globale avec une structure organisatrice optimale qu’on appelle le graphe essentiel. On aborde en suite la construction de représentations efficaces de l’apparence de formes en mouvement observées à travers des vidéos multi-vue. On propose une représentation par sujet qui identifie la structure sous-jacente de l’information d’apparence relative à une forme particulière. La représentation propre résultante encode les variabilités d’apparence dues au point de vue et au mouvement avec les textures propres, et celles dues aux imprécisions locales dans le modèle géométrique avec les déformations propres. Outre fournir des représentation compactes, ces décompositions permettent aussi l’interpolation et la complétion des apparences. On s’intéresse aussi au problème de transfert de mouvement entre deux modèles 4D capturés. Etant donné des ensembles d’apprentissages pour deux sujets avec des correspondances sémantiques éparses entre des poses clés, notre méthode est capable de transférer un nouveau mouvement capturé d’un sujet vers l’autre. Nous contribuons principalement un nouveau modèle de transfert basé sur l’interpolation non-linéaire de pose et de déplacement qui utilise les processus Gaussiens de régression. Finalement, on propose une solution pour générer des variations de modèles 4D capturés, pour l’augmentation automatique et l’amélioration du réalisme des bases de données 4D. Etant donné quelques modèles 4D représentant des mouvements du même type, notre méthode construit un plongement probabiliste à basse dimension des poses en utilisant les modèles de processus Gaussiens dynamiques, et des variantes nouvelles de mouvement sont obtenues en échantillonnant des trajectoires dans l’espace sous-jacent grâce a une chaîne de Markov de Monte Carlo. On peut synthétiser un nombre illimité de variations des mouvements en entrée ainsi que toute version interpolée de ces derniers. On obtient en sortie des séquences statistiquement similaires aux entrées avec de légères différences dans les poses et leur timings.
Fichier principal
Vignette du fichier
thesis.pdf (6.53 Mo) Télécharger le fichier
phd (1).pptx (172.21 Mo) Télécharger le fichier
phd.pptx.zip (169.1 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-01665203 , version 1 (15-12-2017)
tel-01665203 , version 2 (18-05-2018)
tel-01665203 , version 3 (25-09-2018)

Identifiants

  • HAL Id : tel-01665203 , version 1

Citer

Adnane Boukhayma. Surface Motion Capture Animation. Computer Science [cs]. UGA - Université Grenoble Alpes, 2017. English. ⟨NNT : ⟩. ⟨tel-01665203v1⟩
858 Consultations
446 Téléchargements

Partager

More