Dans cet article, nous nous intéressons au suivi dans le temps d'une surface observée par plusieurs caméras. Nous proposons une nouvelle méthode qui ne repose sur aucune hypothèse a priori quant à la nature de la surface ou de ces déformations. La méthode considère des données purement géométriques : les positions et les orientations sur la surface, et ne nécessite donc pas d'informations photométriques qui s'avèrent parfois ambiguës. Elle s'inspire de l'algorithme ICP qu'elle adapte au cas des déformations non rigides. Le principe est de déformer la surface de manière itérative, d'un instant au suivant, tout en préservant la rigidité locale. Dans cet objectif, la surface est divisée en régions dont l'agencement sur la surface est contraint par la pose à l'instant précédent ainsi que par une pose de référence. Les résultats expérimentaux sur plusieurs séquences réelles standard du domaine démontrent l'efficacité de cette approche à suivre des surfaces complexes.