Learning Multi-Task Policies for Robotics - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Theses Year : 2023

Learning Multi-Task Policies for Robotics

Apprentissage de politiques multi-tâches pour la robotique

Abstract

Developing versatile robots capable of performing diverse tasks has the potential to alleviate human labor in physically demanding, dangerous, and tedious activities. However, the progress of robot learning has been relatively slow compared to other domains of machine learning partially due to the lack of large-scale robotics datasets. This thesis aims to introduce novel methods for learning multi-task policies for robotics. In our first contribution, we present a novel reinforcement learning algorithm that learns goal-reaching policies by interacting with the environment. Our approach incorporates imagined subgoals to guide policy learning during training, resulting in higher sample efficiency and the ability to solve more complex temporally extended tasks. In our second contribution, we propose a method for learning policies in multi-task vision-based manipulation environments that can follow human video instructions. By utilizing an existing large dataset of labeled human videos, we achieve this without requiring annotated robot demonstrations or task-specific reward shaping.
Le développement de robots généralistes capables d’accomplir une vaste gamme de tâches présente un énorme potentiel pour alléger la charge de travail humain dans des tâches physiquement exigeantes, dangereuses ou fastidieuses. Cependant, les progrès de l’apprentissage robotique ont été relativement lents par rapport à d’autres domaines de l’apprentissage automatique, en partie en raison du manque de jeux de données de grande envergure pour la robotique. Cette thèse vise à présenter de nouvelles méthodes pour l’apprentissage des politiques multi-tâches pour la robotique. Dans notre première contribution, nous présentons un nouvel algorithme d’apprentissage par renforcement qui apprend des politiques d’atteinte d’objectifs en interagissant avec l’environnement. Notre approche intègre des sous-objectifs imaginés pour guider l’apprentissage de la politique lors de l’entraînement, ce qui se traduit par une meilleure efficacité d’échantillonnage et la capacité à résoudre des tâches temporellement plus complexes. Dans notre deuxième contribution, nous proposons une méthode pour apprendre des politiques capables de suivre des instructions vidéo humaines dans des environnements de manipulation multi-tâches basés sur la vision. En utilisant un ensemble de données volumineux existant de vidéos humaines annotées, nous parvenons à cela sans avoir besoin de démonstrations robotiques annotées ni de conception de fonctions de récompenses spécifiques pour chaque tâche.
Fichier principal
Vignette du fichier
123442_CHANE-SANE_2023_archivage.pdf (24.18 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

tel-04499924 , version 1 (11-03-2024)

Licence

Identifiers

  • HAL Id : tel-04499924 , version 1

Cite

Elliot Chane-Sane. Learning Multi-Task Policies for Robotics. Machine Learning [cs.LG]. Inria Paris; Ecole Normale Superieure, 2023. English. ⟨NNT : ⟩. ⟨tel-04499924⟩
61 View
23 Download

Share

Gmail Mastodon Facebook X LinkedIn More