L'exploration de larges bases de données vidéo est une tâche qui devient possible grâce aux avancées techniques dans la détection et le suivi d'objets. Les méthodes de fouille d'information comme le clustering sont typiquement employées. Celles-ci ont été principalement appliquées pour la segmentation/indexation vidéo mais l'extraction de connaissances sur l'activité présente dans la vidéo a été seulement partiellement adressée. Dans cet article nous présentons comment ces techniques peuvent être utilisées pour traiter de l'information vidéo pour l'extraction de connaissances. Tout d'abord, les objets d'intérêt sont détectés en temps réel. Ensuite, dans un traitement supplémentaire, nous recherchons à extraire des nouvelles connaissances en deux etapes : 1) extraction des motifs caractéristiques des trajectoires des personnes dans la vidéo. 2) extraction des motifs d'interaction entre les personnes et les objets contextuels dans la scène. Dans les deux cas, nous appliquons un clustering hiérarchique agglomératif. Nous présentons des résultats obtenus sur des vidéos du metro de Turin (Italie)