The Generalized Likelihood Ratio Test meets klUCB: an Improved Algorithm for Piece-Wise Non-Stationary Bandits - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2019

The Generalized Likelihood Ratio Test meets klUCB: an Improved Algorithm for Piece-Wise Non-Stationary Bandits

Le test du ratio de vraisemblance généralisé (GLRT) rencontre klUCB : un meilleur algorithme pour les bandits stationnaires par morceaux

Résumé

We propose a new algorithm for the piece-wise i.i.d. non-stationary bandit problem with bounded rewards. Our proposal, GLR-klUCB, combines an efficient bandit algorithm, klUCB, with an efficient, parameter-free, change-point detector, the Bernoulli Generalized Likelihood Ratio Test, for which we provide new theoretical guarantees of independent interest. We analyze two variants of our strategy, based on local restarts and global restarts, and show that their regret is upper-bounded by $O(\Upsilon_T \sqrt{T \log(T)})$ if the number of change-points $Υ_T$ is unknown, and by $O(\sqrt{\Upsilon_T T \log(T)})$ if $\Upsilon_T$ is known. This improves the current state-of-the-art bounds, as our algorithm needs no tuning based on knowledge of the problem complexity other than $Υ_T$. We present numerical experiments showing that GLR-klUCB outperforms passively and actively adaptive algorithms from the literature, and highlight the benefit of using local restarts.
Nous proposons un nouvel algorithme pour le problème du bandit non stationnaire i.i.d. avec des récompenses bornées. Notre proposition, GLR-klUCB, combine un algorithme de bandit efficace, klUCB, avec un détecteur de points de changement efficace et sans paramètre, le test du rapport de vraisemblance généralisé, dans sa variante de Bernoulli. Nous fournissons de nouvelles garanties théoriques d'intérêt indépendant pour ce test (GLRT). Nous analysons deux variantes de notre stratégie, basées sur les redémarrages locaux et les redémarrages globaux, et montrons que leur regret est limité par $O(\Upsilon_T \sqrt{T \log(T)})$ si le nombre de points de changement $Υ_T$ est inconnu, et par $O(\sqrt{\Upsilon_T T \log(T)})$ si $\Upsilon_T$ est connu. Ces résultats améliorent les bornes de l'état de l'art actuel, car notre algorithme ne nécessite aucun réglage basé sur la connaissance de la complexité du problème autre que $Υ_T$. Nous présentons des expériences numériques montrant que GLR-klUCB surpasse les algorithmes passivement et activement adaptatifs de la littérature, et soulignons les avantages de l'utilisation de redémarrages locaux.
Fichier principal
Vignette du fichier
The-Generalized-Likelihood-Ratio-Test-meets-klUCB--an-Improved-Algorithm-for-Piece-Wise-Non-Stationary-Bandits__COLT_2019__01-02-2019.pdf (851.07 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-02006471 , version 1 (04-02-2019)
hal-02006471 , version 2 (08-12-2020)
hal-02006471 , version 3 (01-08-2022)

Licence

Paternité - Pas d'utilisation commerciale - Partage selon les Conditions Initiales

Identifiants

Citer

Lilian Besson, Emilie Kaufmann. The Generalized Likelihood Ratio Test meets klUCB: an Improved Algorithm for Piece-Wise Non-Stationary Bandits. 2019. ⟨hal-02006471v1⟩
607 Consultations
879 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More