Full Gradient Deep Reinforcement Learning for Average-Reward Criterion - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Full Gradient Deep Reinforcement Learning for Average-Reward Criterion

Tejas Pagare
  • Fonction : Auteur
  • PersonId : 1331389
Vivek S Borkar
  • Fonction : Auteur
  • PersonId : 913857

Résumé

We extend the provably convergent Full Gradient DQN algorithm for discounted reward Markov decision processes from Avrachenkov et al. (2021) to average reward problems. We experimentally compare widely used RVI Q-learning with recently proposed Differential Q-learning in the neural function approximation setting with Full Gradient DQN and DQN. We also extend this to learn Whittle indices for Markovian restless multi-armed bandits. We observe a better convergence rate of the proposed Full Gradient variant across different tasks.
Fichier principal
Vignette du fichier
PagareL4DC23.pdf (1.34 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Licence : CC BY - Paternité

Dates et versions

hal-04372096 , version 1 (04-01-2024)

Licence

Paternité

Identifiants

  • HAL Id : hal-04372096 , version 1

Citer

Tejas Pagare, Vivek S Borkar, Konstantin Avrachenkov. Full Gradient Deep Reinforcement Learning for Average-Reward Criterion. L4DC - The 5th Annual Learning for Dynamics and Control Conference, Jun 2023, Philadelphia, United States. pp.235-247. ⟨hal-04372096⟩
17 Consultations
6 Téléchargements

Partager

Gmail Facebook X LinkedIn More