High-Dimensional Control Using Generalized Auxiliary Tasks - Inria - Institut national de recherche en sciences et technologies du numérique
Preprints, Working Papers, ... Year : 2019

High-Dimensional Control Using Generalized Auxiliary Tasks

Abstract

A long-standing challenge in reinforcement learning is the design of function approximations and efficient learning algorithms that provide agents with fast training, robust learning, and high performance in complex environments. To this end, the use of prior knowledge, while promising, is often costly and, in essence, challenging to scale up. In contrast, we consider problem knowledge signals, that are any relevant indicator useful to solve a task, e.g., metrics of uncertainty or proactive prediction of future states. Our framework consists of predicting such complementary quantities associated with self-performance assessment and accurate expectations. Therefore, policy and value functions are no longer only optimized for a reward but are learned using environment-agnostic quantities. We propose a generally applicable framework for structuring reinforcement learning by injecting problem knowledge in policy gradient updates. In this paper: (a) We introduce MERL, our multi-head reinforcement learning framework for generalized auxiliary tasks. (b) We conduct experiments across a variety of standard benchmark environments. Our results show that MERL improves performance for on- and off-policy methods. (c) We show that MERL also improves transfer learning on a set of challenging tasks. (d) We investigate how our approach addresses the problem of reward sparsity and pushes the function approximations into a better-constrained parameter configuration.
Fichier principal
Vignette du fichier
main.pdf (4.97 Mo) Télécharger le fichier
images/ablation/HalfCheetah.pdf (48.34 Ko) Télécharger le fichier
images/ablation/Swimmer.pdf (47.82 Ko) Télécharger le fichier
images/ablation/Walker2d.pdf (57.77 Ko) Télécharger le fichier
images/atari/1.png (352.7 Ko) Télécharger le fichier
images/atari/2.png (449.25 Ko) Télécharger le fichier
images/atari/3.png (649.92 Ko) Télécharger le fichier
images/atari/4.png (464.28 Ko) Télécharger le fichier
images/atari/5.png (1.18 Mo) Télécharger le fichier
images/atari/6.png (401.85 Ko) Télécharger le fichier
images/ddpg/HalfCheetah-v2.pdf (32.93 Ko) Télécharger le fichier
images/ddpg/Hopper-v2.pdf (35.9 Ko) Télécharger le fichier
images/ddpg/Swimmer-v2.pdf (33.66 Ko) Télécharger le fichier
images/ppo/Ant-v2.pdf (30.89 Ko) Télécharger le fichier
images/ppo/HalfCheetah-v2.pdf (30.19 Ko) Télécharger le fichier
images/ppo/Hopper-v2.pdf (33.12 Ko) Télécharger le fichier
images/ppo/Humanoid-v2.pdf (33.34 Ko) Télécharger le fichier
images/ppo/InvertedDoublePendulum-v2.pdf (36.65 Ko) Télécharger le fichier
images/ppo/InvertedPendulum-v2.pdf (34.6 Ko) Télécharger le fichier
images/ppo/Reacher-v2.pdf (30.27 Ko) Télécharger le fichier
images/ppo/Swimmer-v2.pdf (29.59 Ko) Télécharger le fichier
images/ppo/Walker2d-v2.pdf (33.59 Ko) Télécharger le fichier
images/transfer/Asterix-Enduro.pdf (36.94 Ko) Télécharger le fichier
images/transfer/Asterix-MsPacman.pdf (48.91 Ko) Télécharger le fichier
images/transfer/BeamRider-Enduro.pdf (38.74 Ko) Télécharger le fichier
images/transfer/BeamRider-MsPacman.pdf (52.07 Ko) Télécharger le fichier
images/transfer/CrazyClimber-Asterix.pdf (47.17 Ko) Télécharger le fichier
images/transfer/CrazyClimber-BeamRider.pdf (48.4 Ko) Télécharger le fichier
images/transfer/CrazyClimber-Enduro.pdf (43.69 Ko) Télécharger le fichier
images/transfer/CrazyClimber-MsPacman.pdf (51.58 Ko) Télécharger le fichier
images/transfer/CrazyClimber-VideoPinball.pdf (49.68 Ko) Télécharger le fichier
images/transfer/Enduro-MsPacman.pdf (51.14 Ko) Télécharger le fichier
images/transfer/MsPacman-Asterix.pdf (47.21 Ko) Télécharger le fichier
images/transfer/MsPacman-BeamRider.pdf (48.47 Ko) Télécharger le fichier
images/transfer/MsPacman-CrazyClimber.pdf (47.82 Ko) Télécharger le fichier
images/transfer/MsPacman-Enduro.pdf (40.1 Ko) Télécharger le fichier
images/transfer/MsPacman-VideoPinball.pdf (50.08 Ko) Télécharger le fichier
images/transfer/VideoPinball-Asterix.pdf (45.09 Ko) Télécharger le fichier
images/transfer/VideoPinball-BeamRider.pdf (48.1 Ko) Télécharger le fichier
images/transfer/VideoPinball-CrazyClimber.pdf (47.27 Ko) Télécharger le fichier
images/transfer/VideoPinball-Enduro.pdf (40.72 Ko) Télécharger le fichier
images/transfer/VideoPinball-MsPacman.pdf (51.31 Ko) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-02295705 , version 1 (24-09-2019)
hal-02295705 , version 2 (13-10-2019)
hal-02295705 , version 3 (29-11-2019)

Identifiers

  • HAL Id : hal-02295705 , version 3

Cite

Yannis Flet-Berliac, Philippe Preux. High-Dimensional Control Using Generalized Auxiliary Tasks. 2019. ⟨hal-02295705v3⟩
169 View
112 Download

Share

More