Inferring Dense Human Representation from Sparse or Incomplete Point Clouds
Inférer une représentation dense de l'humain avec un nuage de points épars ou incomplet
Résumé
With the development of 3D vision techniques, in particular neural network based methods, the 3D neural avatar representation has gained growing interest both in the academia and in the industry. Such digital representations have been applied to movie, video game, fashion and virtual reality environments to enrich user experiences. In terms of 3D representation and reconstruction, classic methods rely on heavy setups and costly computation processes while neural networks open up the possibility to handle this problem from partial observations thanks to tolerance to insufficient information. In particular, neural networks achieve promising results for reconstruction tasks with a high speed inference process. However, at the time of the thesis few neural network designs used spatial constraint on the 3D human shape and temporal coherence of motion for dense reconstruction and completion. This thesis proposes to build 3D and 4D models for dense human shape estimation/reconstruction from sparse or incomplete point clouds and investigates how the proposed network and training strategy contribute. To evaluate the effectiveness of the proposed methods, we collect data from synthetic and real datasets, with dressed humans and undressed humans. We first examine a static intermediate task, in which we deform the key points of a reference template to fit to input sparse point clouds and densify the deformed points with our proposed Gaussian Process layer. Our Gaussian Process layer enforces the smoothness of 3D geometry and adversarial training can further improve robustness across the datasets, which allow us to reconstruct 3D human shapes from sparse unstructured point clouds and avoid local optima during inference. Instead of static frame-by-frame poses, humans perform dynamic motion in daily life. We thus examine temporal continuity in dense shape inference. We develop a continuous representation of human motion sequences from partial observations with neural implicit modeling, which enables to complete spatial information and to enhance temporal frames. Our proposed method outperforms the static methods which lack temporal coherence, by correcting artefacts due to holes or noises. However we are still missing some high-frequency details in our results when using a naive training strategy. Therefore, we investigate how to represent fine details of humans with a coarse-to-fine strategy and temporal feature aggregation from an input sequence of depth images. This allows us to pyramidally learn a signed distance field in both spatial and temporal directions in order to recover fine details on cloth wrinkles and facial expressions.
Avec le développement de techniques de vision 3D, en particulier des méthodes basées sur les réseaux neuronaux, la représentation de l’avatar neuronal 3D a suscité un intérêt croissant à la fois dans l’académie et dans l’industrie. Une telle représentation numérique a été appliquée aux environnements du cinéma, du jeu vidéo, de la mode et de la réalité virtuelle pour enrichir l’expérience utilisateur. En termes de représentation et de reconstruction 3D, les méthodes classiques reposent sur une mise en place lourde et des processus de calcul coûteux tandis que les réseaux neuronaux ouvrent la possibilité de traiter ce problème à partir d’observations partielles grâce à une meilleure tolérance aux informations insuffisantes. En particulier, les réseaux neuronaux obtiennent des résultats prometteurs pour les tâches de reconstruction avec un processus d’inférence à grande vitesse. Cependant, au moment de la thèse la contrainte spatiale sur la forme humaine et la cohérence temporelle du mouvement est peu ou pas prise en compte dans la conception des réseaux neuronaux pour la reconstruction dense et la complétion. Cette thèse propose de construire des mèthodes 3D et 4D pour l’estimation/reconstruction de formes humaines à partir de nuages de points épars ou incomplets et étudie comment le réseau proposé et la stratégie d’apprentissage contribuent. Pour évaluer l’efficacité des méthodes proposées, nous collectons des données à partir d’un jeu de données synthétiques et réelles, avec des humains habillés et des humains sans vêtements. Nous examinons d’abord une tâche intermédiaire statique, dans laquelle nous déformons les points clés de la référence(template) pour épouser la forme des nuages de points épars d’entrée et densifions les points déformés avec notre couche de processus gaussien proposée. Notre couche de processus gaussien renforce le lissage de la géométrie 3D et l’apprentissage adversarial peut en- core améliorer la robustesse sur les ensembles de données, qui nous permettent de reconstruire des formes humaines 3D à partir de nuages de points épars non structurés et éviter les optimums locaux pendant l’inférence. Au lieu de poses statiques image par image, les humains effectuent des mouvements dynamiques dans la vie quotidienne. Donc nous examinons la continuité temporelle dans l’inférence de forme dense. Nous développons une représentation continue des séquences de mouvements humains à partir d’observations partielles avec modélisation neuronale implicite, qui permet de compléter l’information spatiale et d’augmenter la frèquence des sèquences d’entrèe. Notre méthode proposée surpasse les méthodes statiques qui manquent de cohérence temporelle en corrigeant les artefacts provoqués par des données manquantes ou bruitées. Mais il nous manque encore des détails à haute fréquence dans nos résultats avec une stratégie d’entraînement naïve. Par conséquent, nous étudions comment représenter les détails fins de l’humain avec une stratégie hiérarchique et l’agrégation des caractéristiques temporelles à partir d’une séquence d’entrée des images de profondeur. Cela nous permet d’apprendre de manière pyramidale le champ de distances signées dans les directions spatiale et temporelle afin de récupérer des détails fins sur les plis des vêtements et les expressions faciales.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|