Samples Are Useful? Not Always: denoising policy gradient updates using variance explained
Résumé
Policy gradient algorithms in reinforcement learning optimize the policy directly and rely on efficiently sampling an environment. However, while most sampling procedures are based solely on sampling the agent's policy, other measures directly accessible through these algorithms could be used to improve sampling before each policy update. Following this line of thoughts, we propose the use of SAUNA, a method where transitions are rejected from the gradient updates if they do not meet a particular criterion, and kept otherwise. This criterion, the fraction of variance explained $\mathcal{V}^{ex}$, is a measure of the discrepancy between a model and actual samples. In this work, $\mathcal{V}^{ex}$ is used to evaluate the impact each transition will have on learning: this criterion refines sampling and improves the policy gradient algorithm. In this paper: (a) We introduce and explore $\mathcal{V}^{ex}$, the criterion used for denoising policy gradient updates. (b) We conduct experiments across a variety of benchmark environments, including standard continuous control problems. Our results show better performance with SAUNA. (c) We investigate why $\mathcal{V}^{ex}$ provides a reliable assessment for the selection of samples that will positively impact learning. (d) We show how this criterion can work as a dynamic tool to adjust the ratio between exploration and exploitation.
Fichier principal
main.pdf (8.64 Mo)
Télécharger le fichier
Gym/HalfCheetah-v2-nofilter.pdf (43.32 Ko)
Télécharger le fichier
Gym/HalfCheetah-v2.pdf (32.36 Ko)
Télécharger le fichier
Gym/Hopper-v2-nofilter.pdf (45.81 Ko)
Télécharger le fichier
Gym/Hopper-v2.pdf (32.82 Ko)
Télécharger le fichier
Gym/InvertedDoublePendulum-v2-nofilter.pdf (48.34 Ko)
Télécharger le fichier
Gym/InvertedDoublePendulum-v2.pdf (35.88 Ko)
Télécharger le fichier
Gym/InvertedPendulum-v2-nofilter.pdf (46.88 Ko)
Télécharger le fichier
Gym/InvertedPendulum-v2.pdf (33.93 Ko)
Télécharger le fichier
Gym/Reacher-v2-nofilter.pdf (46.32 Ko)
Télécharger le fichier
Gym/Reacher-v2.pdf (34.41 Ko)
Télécharger le fichier
Gym/Swimmer-v2-nofilter.pdf (42.32 Ko)
Télécharger le fichier
Gym/Swimmer-v2.pdf (30.86 Ko)
Télécharger le fichier
Gym/Walker2d-v2-nofilter.pdf (46.03 Ko)
Télécharger le fichier
Gym/Walker2d-v2.pdf (33.08 Ko)
Télécharger le fichier
Gym/frames.pdf (2.84 Mo)
Télécharger le fichier
Roboschool/RoboschoolHumanoidFlagrunHarder-v1-128actors.pdf (1.05 Mo)
Télécharger le fichier
Roboschool/RoboschoolHumanoidFlagrunHarder-v1-512-256-128.pdf (1.15 Mo)
Télécharger le fichier
Roboschool/RoboschoolHumanoidFlagrunHarder-v1-64-64.pdf (992.75 Ko)
Télécharger le fichier
figures/diagram.pdf (61.32 Ko)
Télécharger le fichier
figures/ev.pdf (1.29 Mo)
Télécharger le fichier
figures/vexp.pdf (58.28 Ko)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|