Reconstructing hands and manipulated objects from images and videos - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Theses Year : 2021

Reconstructing hands and manipulated objects from images and videos

Reconstruction d'interactions mains-objets durant la manipulation à partir d'images et de vidéos

Abstract

Modeling hand-object manipulations is essential for understanding how humans interact with their environment. Recent efforts to recover 3D information from RGB images have been directed towards fully-supervised methods which require large amounts of labeled training samples. However, collecting 3D ground-truth data for hand-object interactions is costly, tedious, and error-prone. In this thesis, we propose several contributions to overcome this challenge. First, we propose a fully automatic method to generate synthetic data with hand-object interactions for training. We generate ObMan, a synthetic dataset with automatically generated labels, and use it to train a deep convolutional neural network to reconstruct the observed object and the hand pose from a single RGB frame. We present an end-to-end learnable model that exploits a novel contact loss to favor physically plausible hand-object constellations. We investigate the domain gap and validate that our synthesized training data allows our model to reconstruct hand-object interactions from real images, provided the captured grasps are similar to the ones in the synthetic images. While costly, curating annotations from real images allows to obtain samples from the distribution of natural hand-object interactions. Next, we investigate a strategy to make the most of manual annotation efforts: we propose to leverage the temporal context in videos when sparse annotations are available. In a learnable framework which jointly reconstructs hands and objects in 3D by inferring the poses of known models, we leverage photometric consistency across time. Given our estimated reconstructions, we differentiably render the optical flow between pairs of images and use it to warp one frame to another. We then apply a self-supervised photometric loss that relies on the visual consistency between nearby images. We display competitive results for 3D hand-object reconstruction benchmarks and demonstrate that our approach allows to improve the pose estimation accuracy by leveraging information from neighboring frames in low-data regimes. Finally, we explore automatic annotation of real RGB data by proposing a learning-free fitting approach for hand-object reconstruction. We rely on 2D cues obtained with common learnt methods for detection, hand pose estimation and instance segmentation and integrate hand-object interaction priors. We evaluate our approach and show that it can be applied to datasets with varying levels of complexity. Our method can seamlessly handle two-hand object interactions and can provide noisy pseudo-labels for learning-based approaches. In summary, our contributions are the following: (i) we generate synthetic data for hand-object grasps that allows training CNNs for joint hand-object reconstruction, (ii) we propose a strategy to leverage the temporal context in videos when sparse annotations are provided, (iii) we propose to recover hand-object interactions for short video clips by fitting models to noisy predictions from learnt models.
Modéliser la manipulation d’objets est essentiel à la compréhension des interactions entre l’homme et son environnement. Les efforts pour reconstituer l’information 3D à partir d’images RGB se sont récemment orientés vers les méthodes d’apprentissage supervisés, qui requièrent de nombreux exemples annotés durant l’entrainement. Cependant, la collecte d’annotations précises pour des images de manipulation est laborieuse, couteuse, et propice aux erreurs. Cette thèse propose plusieurs contributions pour pallier ces difficultés. Premièrement, nous proposons une méthode pour générer automatiquement des données synthétiques d’interactions mains-objets. Nous générons un set de données synthétiques: ObMan, que nous utilisons pour entrainer un réseau de neurones convolutif profond pour la reconstruction 3D à partir d’une unique image RGB. Nous présentons une méthode d’apprentissage différentiable qui favorise des reconstructions physiquement plausibles à l’aide d’une nouvelle pénalisation. Nos données synthétiques permettent au modèle de reconstruire des interactions à partir d’images réelles, à condition que les configurations observées soient proches des manipulations représentées par les images synthétiques. Bien que coûteuse, l’annotation d’images réelles permet d’obtenir des exemples d’interactions mains-objets qui surviennent naturellement lors de la manipulation. Nous proposons de valoriser des annotations obtenues manuellement en utilisant le contexte temporel pour des vidéos annotées sporadiquement. Nous déployons une architecture différentiable qui permet de reconstruire les interactions 3D en estimant la pose de la main et d’un objet manipulé dont le modèle est supposé connu, et proposons d’utiliser la consistance photométrique au cours du temps comme signal d’entrainement. Étant données nos prédictions, nous estimons le flux optique entre deux images à l’aide d’un rendu différentiable, et utilisons celui-ci pour transposer les déformations dues aux mouvement d’une des images vers l’autre. Nous appliquons ensuite une pénalité photométrique auto-supervisée basée sur la cohérence visuelle entre images proches. Notre méthode produit des résultats compétitifs pour des jeux de données de référence en reconstruction main-objet. Nous démontrons que notre approche permet d’améliorer la précision de l’estimation de pose en mettant à profit les informations des images voisines lorsque la densité d’annotation est faible. Enfin, nous étudions l’annotation automatique de données RGB réelles en proposant une approche d’optimisation sans apprentissage pour la reconstruction de manipulations d’objets. Nous nous appuyons sur des prédictions produites par des modèles d’apprentissage établis pour la détection, l’estimation de la pose de la main et la segmentation d’instance, et intégrons des heuristiques régulant les interactions mains-objets. Nous évaluons notre approche et montrons qu’elle peut être appliquée à des vidéos présentant différents niveaux de complexité. Notre méthode peut modéliser les manipulations entre plusieurs mains et un objet et fournir des annotations bruitées pour des méthodes basées sur l’apprentissage. En résumé, nos contributions sont les suivantes : (i) nous générons des données synthétiques pour la saisie d’objets qui permettent d’entraîner des réseaux convolutif profonds pour la reconstruction jointe d’une main et d’un objet, (ii) nous proposons une stratégie pour utiliser le contexte temporel des vidéos lorsque la densité temporelle d’annotation est faible, (iii) nous proposons d’estimer les interactions main-objet pour de courts clips vidéo en mettant en correspondance les poses 3D de mains et d’objets avec les prédictions de modèles entrainés.
Fichier principal
Vignette du fichier
thesis_yana_hasson.pdf (62.87 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

tel-03616841 , version 1 (23-03-2022)

Identifiers

  • HAL Id : tel-03616841 , version 1

Cite

Yana Hasson. Reconstructing hands and manipulated objects from images and videos. Computer Vision and Pattern Recognition [cs.CV]. Inria, 2021. English. ⟨NNT : ⟩. ⟨tel-03616841⟩
283 View
27 Download

Share

Gmail Facebook X LinkedIn More