Unsupervised Learning of Intuitive Physics from Videos - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Theses Year : 2021

Unsupervised Learning of Intuitive Physics from Videos

Apprentissage non-supervisé de la physique intuitive

Abstract

To reach human performance on complex tasks, a key ability for artificial intelligence systems is to understand physical interactions between objects, and predict future outcomes of a situation. In this thesis we investigate how a system can learn this ability, often referred to as intuitive physics, from videos with minimal annotation. Our first contribution is an evaluation benchmark, named IntPhys, which diagnoses how much a system understands intuitive physics. Inspired by works in infant development, we propose a Violation-of-Expection procedure in which the system must tell apart well matched videos of possible versus impossible events constructed with a game engine. We describe two Convolutional Neural Networks trained on a forward prediction task, and compare their results with human data acquired with Amazon Mechanical Turk. The analysis of these results show limitations of CNN encoder-decoders with no structured representation of objects when it comes to predict long-term object trajectories, especially in case of occlusions. In a second work, we propose a probabilistic formulation of learning intuitive physics in 3D scenes with significant inter-object occlusions, in which object positions are modelled as latent variables, enabling the reconstruction of the scene. We propose a series of approximations that make this problem tractable and introduce a compositional neural network demonstrating significant improvements on the intuitive physics benchmark IntPhys. We evaluate this model on a second dataset with increasing levels of occlusions, showing it realistically predicts segmentation masks up to 30 frames in the future. In a third work, we adapt this approach to a real life application: predicting future instance masks of objects in the Cityscapes Dataset, made of video sequences recorded in streets from 50 cities. We use a state-of-the-art objects detector to estimate object states, then apply the model presented above to predict objects instance masks up to 9 frames in the future. In addition, we propose a method to decouple ego-motion from objects’ motion, making it easier to learn long term object dynamics.
Pour effectuer des tâches complexes de manière autonome, les systèmes d’intelligence artificielle doivent pouvoir com- prendre les interactions physiques entre les objets, afin d’anticiper les conséquences de situations diverses. L’objectif de cette thèse est d’étudier l’acquisition de cette notion (souvent appelée physique intuitive), pour un système, de manière autonome et non supervisée à partir de vidéos. La première contribution consiste en un protocole de test, IntPhys, dont le but est d’évaluer les capacités d’un tel système à comprendre la physique intuitive. Inspiré de la littérature en sciences cognitive, ce protocole consiste à en évaluer la capacité à différencier les évèvement physiques possibles et impossibles au sein de vidéos. Après avoir décrit en détail cette procédure, nous évaluons les performances de deux réseaux de neuronnes convolutifs et les comparons avec les performances humaines. L’analyse de ces résultats montre les limites des réseaux de neuronnes convolutifs pour prédire la trajectoire des objects à long terme, notamment en présence d’occlusions. Pour cette raison, nous proposons une formulation probabiliste du problème dans laquelle chaque object a sa propre représentation en variables latentes. Nous proposons également une série d’approximations pour trouver une solution acceptable à ce problème d’optimisation. Dans un dernier chapitre, nous proposons d’appliquer cette approche à un cas pratique: l’anticipation du mouvements des objets alentours lors de la conduite en ville. Nous y montrons qu’il est possible d’entraîner un système à anticiper les futurs masques d’instance d’objets, au sein de séquences vidéos enregistrées lors de la conduite dans 50 villes europénnes.
Fichier principal
Vignette du fichier
manuscrit-30juillet-1.pdf (2.07 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

tel-03530321 , version 1 (17-01-2022)

Identifiers

  • HAL Id : tel-03530321 , version 1

Cite

Ronan Riochet. Unsupervised Learning of Intuitive Physics from Videos. Artificial Intelligence [cs.AI]. Ecole Normale Superieure de Paris - ENS Paris, 2021. English. ⟨NNT : ⟩. ⟨tel-03530321⟩
170 View
164 Download

Share

Gmail Facebook X LinkedIn More