Nous proposons dans cet article une approche permettant de suivre efficacement et rapidement le déplacement d'un motif visuel dans une séquence d'images. Cette technique consiste d'une part, en une étape hors ligne dédiée à l'apprentissage d'une matrice d'interaction liant la déformation du motif à son déplacement dans l'image, et d'autre part à l'exploitation en ligne de cette matrice pour suivre l'évolution du motif choisi. Cette seconde étape itérative consiste à prédire la position dans l'image du motif (en position, échelle et orientation), à calculer la différence du motif observé à l'endroit prédit avec le motif de référence, puis à réaliser le produit entre la matrice d'interaction et cette différence pour obtenir un vecteur correctif sur la position prédite. Nous montrons que cette étape de correction correspond à un co^ut algorithmique très faible permettant une mise en oeuvre en temps réel vidéo. Dans la partie expérimentale, nous appliquons successivement ce principe au suivi d'un motif texturé dans une séquence d'images, puis au suivi d'objets volumiques (dans ce cas le motif de référence évolue dans le temps en fonction de l'orientation relative objet/caméra). De nombreux résultats expérimentaux sont présentés et commentés.