Multi-view Shape Modeling from Images: Contributions to Photometric-based Reconstruction using Deformable Meshes - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Thèse Année : 2011

Multi-view Shape Modeling from Images: Contributions to Photometric-based Reconstruction using Deformable Meshes

Modélisation 3D à partir d'images: contributions en reconstruction photométrique à l'aide de maillages déformables

Résumé

Understanding, analyzing and modeling the 3D world from 2D pictures and videos is probably one of the most exciting and challenging problem of computer vision. In this thesis, we address several geometric and photometric aspects to 3D surface reconstruction from multi-view calibrated images. We first formulate multi-view shape reconstruction as an inverse rendering problem. Using generative models, we formulate the problem as an energy minimization method that leads to the non-linear surface optimization of a deformable mesh. A particular attention is addressed to the computation of the discrete gradient flow, which leads to coherent vertices displacements. We particularly focus on models and energy functionals that depend on visibility and photometry. The same framework can then be equally used to perform multi-view stereo, multi-view shape from shading or multi-view photometric stereo. Then, we propose to exploit different additional information to constraint the problem in the non-Lambertian case, where the appearance of the scene depends on the view-point direction. Segmentation for instance can be used to segment surface regions sharing similar appearance or reflectance. Helmholtz reciprocity can also be applied to reconstruct 3D shapes of objects of any arbitrary reflectance properties. By taking multiple image-light pairs around an object, multi-view Helmholtz stereo can be performed. Using this constraint acquisition scenario and our deformable mesh framework, it is possible to reconstruct high quality 3D models.
Comprendre, analyser et modéliser l'environement 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuels de recherche en vision par ordinateur. Cette thèse s'intéresse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surfaces à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme le problème inverse de rendu graphique, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifféremment s'adapter à divers cas d'applications tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le shape from shading multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre les algorithmes de reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.
Fichier principal
Vignette du fichier
Delaunoy_Thesis_12_2011.pdf (11.07 Mo) Télécharger le fichier

Dates et versions

tel-00654188 , version 1 (21-12-2011)
tel-00654188 , version 2 (03-01-2012)
tel-00654188 , version 3 (10-07-2012)

Identifiants

  • HAL Id : tel-00654188 , version 1

Citer

Amaël Delaunoy. Multi-view Shape Modeling from Images: Contributions to Photometric-based Reconstruction using Deformable Meshes. Computer Vision and Pattern Recognition [cs.CV]. Université de Grenoble, 2011. English. ⟨NNT : ⟩. ⟨tel-00654188v1⟩
4608 Consultations
2279 Téléchargements

Partager

Gmail Facebook X LinkedIn More