Human Motion Tracking with a Kinematic Parameterization of Extremal Contours
Résumé
This report addresses the problem of human motion tracking from image sequences. The human body is described by an articulated mechanical chain and human body-parts are described by volumetric primitives with curved surfaces. An extremal contour appears in an image whenever a curved surface turns smoothly away from the viewer. We describe a method that relies on a kinematic parameterization of such extremal contours. The apparent motion of these contours in the image plane is a function of both the rigid motion of the surface and the relative position and orientation of the viewer with respect to the curved surface. First, we describe a parameterization of an extremal-contour point, and its associated image velocity, as a function of the motion parameters of the kinematic chain associated with the human body. Second, we introduce the zero-reference kinematic model and we show how it may be used for human-motion modelling. Third, we show how the chamfer-distance may be used to measure the discrepancy between predicted extremal contours and observed image contours; Moreover we show how the chamfer distance can be used as a differentiable multi-valued function and how the tracker based on this distance can be cast in an optimization framework. Fourth, we describe a practical human-body tracker that may use an arbitrary number of cameras. One great methodological and practical advantage of our method is that it relies neither on model-to-image, nor on image-to-image point matches. In practice we model people with 5 kinematic chains, 19 volumetric primitives, and 54 degrees of freedom; We observe silhouettes in images gathered with several synchronized and calibrated cameras. The tracker has been successfully applied to several complex motions gathered at 30 frames/second.
Dans ce rapport de recherche, nous nous intéressons au problème du suivi du mouvement humain à l'aide de plusieurs caméras. Le modèle que nous utilisons pour effectuer le suivi est décrit par une chaîne articulée ainsi que par des primitives solides. Les surfaces de ces primitives se projettent dans les images sous la forme de deux types de contours : les contours de discontinuité, qui apparaissent à l'intersection entre deux surfaces, et les contours extrémaux qui apparaissent lorsque la surface est tangente au rayon de vue. Dans ce rapport, nous décrivons une méthode de capture du mouvement basé sur l'observation des contours extrémaux. Pour cela, nous introduisons une paramétrisation explicite des contours extrémaux, applicable aux surfaces développables. Cette paramétrisation nous permet de relier le mouvement apparent des contours aux mouvements articulaires et aux positions et orientations des caméras. Dans un premier temps, nous explicitons la paramétrisation des contours extrémaux et donnons leur vitesse apparente dans les images en fonction des paramètres de la chaîne cinématique auquel la primitive est attachée. Dans un deuxième temps, nous introduisons la modélisation en référence zéro de la chaîne cinématique. Nous montrons comment intégrer cette modélisation dans celle de la chaîne cinématique humaine. Dans un troisième temps, nous montrons comment utiliser la distance de chanfrein pour déterminer l'erreur entre les contours extraits de l'image et les contours extrémaux du modèle. De plus, nous montrons que cette distance peut être différentiable et donc que nous pouvons aborder le problème du suivi de mouvement comme un simple problème de minimisation non-linéaire. Un avantage majeur tant du point de vue méthodologique que du point de vue pratique est que l'algorithme n'utilise ni de correspondances modèle à image, ni de correspondances image à image. En pratique, nous modélisons le corps humain avec 5 chaînes cinématiques, 19 cônes tronqués à base elliptique et 54 degrés de liberté. Nous observons les silhouettes et le contours dans les images acquises avec des caméras synchronisées et calibrées. L'algorithme de suivi a pu être testé avec succès sur des mouvements complexes.
Loading...