Regret bounds for kernel-based reinforcement learning - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2020

Regret bounds for kernel-based reinforcement learning

Pierre Ménard
  • Fonction : Auteur
  • PersonId : 1022182
Matteo Pirotta
  • Fonction : Auteur
  • PersonId : 1023840
Emilie Kaufmann
Michal Valko

Résumé

We consider the exploration-exploitation dilemma in finite-horizon reinforcement learning problems whose state-action space is endowed with a metric. We introduce Kernel-UCBVI, a model-based optimistic algorithm that leverages the smoothness of the MDP and a non-parametric kernel estimator of the rewards and transitions to efficiently balance exploration and exploitation. Unlike existing approaches with regret guarantees, it does not use any kind of partitioning of the state-action space. For problems with K episodes and horizon H, we provide a regret bound of O H 3 K max(1 2 , 2d 2d+1) , where d is the covering dimension of the joint state-action space. We empirically validate Kernel-UCBVI on discrete and continuous MDPs.
Fichier principal
Vignette du fichier
MAIN_ARXIV.pdf (3.18 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02541790 , version 1 (14-04-2020)
hal-02541790 , version 2 (16-07-2021)

Identifiants

  • HAL Id : hal-02541790 , version 1

Citer

Omar D Domingues, Pierre Ménard, Matteo Pirotta, Emilie Kaufmann, Michal Valko. Regret bounds for kernel-based reinforcement learning. 2020. ⟨hal-02541790v1⟩
174 Consultations
264 Téléchargements

Partager

Gmail Facebook X LinkedIn More