Modéliser la manipulation d’objets est essentiel à la compréhension des interactions entre l’homme et son environnement. Les efforts pour reconstituer l’information 3D à partir d’images RGB se sont récemment orientés vers les méthodes d’apprentissage supervisés, qui requièrent de nombreux exemples annotés durant l’entrainement. Cependant, la collecte d’annotations précises pour des images de manipulation est laborieuse, couteuse, et propice aux erreurs. Cette thèse propose plusieurs contributions pour pallier ces difficultés. Premièrement, nous proposons une méthode pour générer automatiquement des données synthétiques d’interactions mains-objets. Nous générons un set de données synthétiques: ObMan, que nous utilisons pour entrainer un réseau de neurones convolutif profond pour la reconstruction 3D à partir d’une unique image RGB. Nous présentons une méthode d’apprentissage différentiable qui favorise des reconstructions physiquement plausibles à l’aide d’une nouvelle pénalisation. Nos données synthétiques permettent au modèle de reconstruire des interactions à partir d’images réelles, à condition que les configurations observées soient proches des manipulations représentées par les images synthétiques. Bien que coûteuse, l’annotation d’images réelles permet d’obtenir des exemples d’interactions mains-objets qui surviennent naturellement lors de la manipulation. Nous proposons de valoriser des annotations obtenues manuellement en utilisant le contexte temporel pour des vidéos annotées sporadiquement. Nous déployons une architecture différentiable qui permet de reconstruire les interactions 3D en estimant la pose de la main et d’un objet manipulé dont le modèle est supposé connu, et proposons d’utiliser la consistance photométrique au cours du temps comme signal d’entrainement. Étant données nos prédictions, nous estimons le flux optique entre deux images à l’aide d’un rendu différentiable, et utilisons celui-ci pour transposer les déformations dues aux mouvement d’une des images vers l’autre. Nous appliquons ensuite une pénalité photométrique auto-supervisée basée sur la cohérence visuelle entre images proches. Notre méthode produit des résultats compétitifs pour des jeux de données de référence en reconstruction main-objet. Nous démontrons que notre approche permet d’améliorer la précision de l’estimation de pose en mettant à profit les informations des images voisines lorsque la densité d’annotation est faible. Enfin, nous étudions l’annotation automatique de données RGB réelles en proposant une approche d’optimisation sans apprentissage pour la reconstruction de manipulations d’objets. Nous nous appuyons sur des prédictions produites par des modèles d’apprentissage établis pour la détection, l’estimation de la pose de la main et la segmentation d’instance, et intégrons des heuristiques régulant les interactions mains-objets. Nous évaluons notre approche et montrons qu’elle peut être appliquée à des vidéos présentant différents niveaux de complexité. Notre méthode peut modéliser les manipulations entre plusieurs mains et un objet et fournir des annotations bruitées pour des méthodes basées sur l’apprentissage. En résumé, nos contributions sont les suivantes : (i) nous générons des données synthétiques pour la saisie d’objets qui permettent d’entraîner des réseaux convolutif profonds pour la reconstruction jointe d’une main et d’un objet, (ii) nous proposons une stratégie pour utiliser le contexte temporel des vidéos lorsque la densité temporelle d’annotation est faible, (iii) nous proposons d’estimer les interactions main-objet pour de courts clips vidéo en mettant en correspondance les poses 3D de mains et d’objets avec les prédictions de modèles entrainés.