Unconstrained Gaze Estimation Using RGB-D Camera - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Thèse Année : 2016

Unconstrained Gaze Estimation Using RGB-D Camera

Estimation du regard dans un environnement non contrôlé en utilisant une caméra RVB-P

Amine Kacete
  • Fonction : Auteur
  • PersonId : 992925

Résumé

In this work, we tackled the automatic gaze estimation problem in unconstrained user environments. By using RGB-D sensor, we aimed to exploit the multi-modal data to provide a sufficiently accurate and robust system. This work can be summarized through 3 principle axes: model, paradigm and data. In the first part of this thesis, we described in details Random Forest algorithm. Through our investigation, we formulated some tasks as a learning problems, we used decision forest as model to capture the mapping functions. We gave a global overview of this tool, and compared it to some machine learning techniques under different tasks. We finished this part by highlighting the recent achieved improvements of this algorithm in computer vision and medical image analysis. Through this survey, we reported some empirical proofs of the potential of Random Forest in handling highly non-linear problems such as gaze estimation. The second axis of this work is about gaze estimation paradigms. We first developed two automatic gaze estimation systems following two classical approaches: feature and semi appearance-based approaches. Our feature-based system is based on a robust eye pupil localization component which allows to build a 3D eye model. Combined with head pose estimation, a 3D gaze information can be inferred. The second system is fundamentally based on building a frontal gaze manifold corrected with the head pose parameters. This system aims to learn gaze information from eye image appearance under frontal configurations then uses head pose-based geometric transformation to infer the final gaze information. The major limitation of such paradigms lies in their way of designing gaze systems which assume a total independence between eye appearance and head pose blocks. To overcome this limitation, we converged to a novel paradigm which aims at unifying the two previous component and building a global gaze manifold. To achieve such unification, we built an input data from both RGB cue related to eye appearance, and depth cue related to head pose. A robust mapping between such input space and gaze information space is learned robustly. We performed a comprehensive comparisons between these systems under unconstrained environment and reported a deepen analysis about the obtained results. The final axis of this work represents the data. Providing sufficient input data to learn mapping functions with a high ability of generalization is fundamental. We explored two global approaches across the experiments by using synthetic and real RGB-D gaze samples. For each type of data, we described the acquisition protocol and evaluated the ability of handling the task in hand. We finished by performing a synthetic/real learning comparison in terms of robustness and accuracy and inferred some empirical correlations.
Dans ce travail, nous avons abordé le problème d'estimation automatique du regard dans des environnements utilisateur sans contraintes. En utilisant un capteur RVBP, nous avons exploité la multi-modalité des données pour aboutir à des systèmes suffisamment précis et robustes. Trois axes principaux peuvent se dégager de ce travail: modèle, paradigmes et données. Dans le premier axe de cette thèse, nous avons décrit en détails l'algorithme des Champs Aléatoires. Au cours de nos études, nous avons formulé certaines tâches comme problèmes d'apprentissage, nous avons utilisé les arbres de décision comme modèle pour apprendre les fonctions de passage. Nous avons donné un aperçu global de cet outil, et nous l'avons comparé à plusieurs techniques d'apprentissage automatique sous différentes tâches. Nous avons conclu cette partie en mettant en évidence les améliorations récentes apportées à cet algorithme en vision par ordinateur et l'analyse d'imagerie médicale. Grâce à cette analyse, nous avons rapporté certaines preuves empiriques du potentiel des Champs Aléatoires à résoudre des problèmes fortement non-linéaires tel que l'estimation du regard. Le deuxième axe représente les paradigmes d'estimation du regard. Dans un premier temps, Nous avons mis au point deux systèmes basés sur deux approches classiques: basée caractéristiques et basé semi apparence. Notre système basé caractéristiques repose sur une composante robuste de localisation de la pupille permettant de construire un modèle géométrique de l'œil. Combiné avec l'estimation de pose de la tête, le regard peut être calculé. Le second système se repose principalement sur la construction d'un espace regard frontal corrigé avec les paramètres de la pose. Ce système vise à apprendre l’information regard à partir d'images d'apparence de l'œil extraites de configurations frontales puis utiliser une transformation géométrique calculée à partir de la pose pour une estimation finale. L'inconvénient majeur de ces paradigmes réside dans la conception les systèmes d'estimation du regard supposant une indépendance totale entre l'image d'apparence des yeux et de la pose de la tête. Pour lever ce verrou, nous avons convergé vers un nouveau paradigme qui vise à unifier les composantes précédentes et construire un espace regard global. Pour parvenir à une telle unification, nous avons modélisé le vecteur d'entrée comme une combinaison d'information RGB liée à l'apparence des yeux, et de profondeur liée à la pose. Une fonction passage entre cet espace d'entrée et l'espace regard est apprise. Nous avons effectué plusieurs comparaisons entre ces systèmes dans un environnement non-contraint et interpréter les résultats obtenus. Le dernier axe porte sur les données utilisées. Fournir des données d'entrée suffisantes pour apprendre des fonctions de passage, avec une forte capacité de généralisation est fondamentale. Nous avons exploré deux approches à travers les expériences en utilisant des échantillons RVB-P synthétiques et réel. Pour chaque type de données, nous avons décrit le protocole d'acquisition et évalué la capacité à estimer le regard. Nous avons conclu ce travail en effectuant une comparaison apprentissage réel/synthétique en termes de robustesse et de précision et déduire certaines corrélations empirique
Fichier principal
Vignette du fichier
Thesis_publi.pdf (33.24 Mo) Télécharger le fichier

Dates et versions

tel-01577906 , version 1 (28-08-2017)

Identifiants

  • HAL Id : tel-01577906 , version 1

Citer

Amine Kacete. Unconstrained Gaze Estimation Using RGB-D Camera. Computer Vision and Pattern Recognition [cs.CV]. CentraleSupélec, 2016. English. ⟨NNT : ⟩. ⟨tel-01577906⟩
241 Consultations
45 Téléchargements

Partager

Gmail Facebook X LinkedIn More