Surface motion capture animation
Animation de capture de mouvement de surface
Résumé
As a new alternative to standard motion capture, 4D surface capture is motivated by the increasing demand from media production for highly realistic 3D content.Such data provides real full shape, appearance and kinematic information of the dynamic object of interest. We address in this work some of the tasks related to the acquisition and the exploitation of 4D data, as obtained through multi-view videos, with an emphasis on corpus of moving subjects. Some of these problems have already received a great deal of interest from the graphics and vision communities, but a number of challenges remain open in this respect. We address namely example based animation synthesis, appearance modelling and semantic motion transfer.We first propose a method to generate animations using video-based mesh sequences of elementary movements of a shape. New motions that satisfy high-level user-specified constraints are built by recombining and interpolating the frames in the observed mesh sequences. Our method brings local improvement to the synthesis process through optimized interpolated transitions, and global improvement with an optimal organizing structure that we call the essential graph.We then address the problem of building efficient appearance representations of shapes observed from multiple viewpoints and in several movements. We propose a per subject representation that identifies the underlying manifold structure of the appearance information relative to a shape. The resulting Eigen representation encodes shape appearance variabilities due to viewpoint and illumination, with Eigen textures, and due to local inaccuracies in the geometric model, with Eigen warps. In addition to providing compact representations, such decompositions also allow for appearance interpolation and appearance completion.We finally address the problem of transferring motion between captured 4D models. Given 4D training sets for two subjects for which a sparse set of semantically corresponding key-poses are known, our method is able to transfer a newly captured motion from one subject to the other. The method contributes a new transfer model based on non-linear pose and displacement interpolation that builds on Gaussian process regression.
En tant qu'une nouvelle alternative à la MoCap standard, la capture de surface 4D est motivée par la demande croissante des produits médiatiques de contenu 3D très réaliste. Ce type de données fournit une information complète et réelle de la forme, l'apparence et la cinématique de l'objet dynamique d'intérêt. On aborde dans cet ouvrage certaines taches liées à l'acquisition et l'exploitation de données 4D, obtenues à travers les vidéos multi-vues, avec un intérêt particulier aux formes humaines en mouvements. Parmi ces problèmes, certains ont déjà reçu beaucoup d'intérêt de la part des communautés de vision par ordinateur et d'infographie, mais plusieurs challenges restent ouverts à cet égard. En particulier, nous abordons la synthèse d'animation basée sur des exemples, la modélisation d'apparence et le transfert sémantique de mouvement.On introduit premièrement une méthode pour générer des animations en utilisant des séquences de maillages de mouvements élémentaires d'une forme donnée. De nouveaux mouvements satisfaisant des contraints hauts-niveaux sont construites en combinant et interpolant les trames des données observées. Notre méthode apporte une amélioration local au processus de la synthèse grâce à l'optimisation des transitions interpolées, ainsi qu'une amélioration globale avec une structure organisatrice optimale qu'on appelle le graph essentiel.On aborde en suite la construction de représentations efficaces de l'apparence de formes en mouvement observées à travers des vidéos multi-vue. On propose une représentation par sujet qui identifie la structure sous-jacente de l'information d'apparence relative à uneforme particulière. La représentation propre résultante représente les variabilités d'apparence dues au point de vue et au mouvement avec les textures propres, et celles dues aux imprécisions locales dans le modèle géométrique avec les déformations propres. Outre fournir des représentation compactes, ces décompositions permettent aussi l'interpolation et la complétion des apparences.Finalement, on s'intéresse au problème de transfert de mouvement entre deux modèles 4D capturés. Étant donné des ensembles d'apprentissages pour deux sujets avec des correspondances sémantiques éparses entre des poses clés, notre méthode est capable de transférer un nouveau mouvement capturé d'un sujet vers l'autre. Nous contribuons principalement un nouveau modèle de transfert basé sur l'interpolation non-linéaire de pose et de déplacement qui utilise les processus Gaussiens de régression.
| Origine | Version validée par le jury (STAR) |
|---|