Les méthodes s'appuyant sur une base de données pour suivre un grand nombre de postures de la main nécessitent une base importante de gestes. Cet article présente une nouvelle méthode de suivi utilisant une base de données construite à partir d'un nombre réduit de gestes de la main pour suivre et reproduire les mouvements de la main. La base de données est construite à partir de nuages de points 3D représentant les gestes de la main. Une analyse en composante principale (ACP) est appliquée à chaque nuage de points permettant de produire une nouvelle représentation indépendante de la position et de l'orientation 3D de chaque nuage de points. Ceci permet d'obtenir une classification des gestes où chaque élément de la base représente une classe de gestes 3D de la main. Une fois la base construite, le suivi des mouvements de la main consiste alors à apparier chaque image en entrée avec un geste de la base de données. Pour cela, la méthode proposée explore la base de gestes en comparant chaque nuage de points en entrée avec ceux de la base de données. Afin de réduire le coût de l'exploration, nous définissons une fonction de comparaison se basant sur les transformées de distance 3D. Des résultats expérimentaux utilisant des données réelles obtenus par une caméra 3D (Swissranger400) montrent le potentiel de notre méthode.