Dueling Bandits with Adversarial Sleeping - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2021

Dueling Bandits with Adversarial Sleeping

Résumé

We introduce the problem of sleeping dueling bandits with stochastic preferences and adversarial availabilities (DB-SPAA). In almost all dueling bandit applications, the decision space often changes over time; eg, retail store management, online shopping, restaurant recommendation, search engine optimization, etc. Surprisingly, this 'sleeping aspect' of dueling bandits has never been studied in the literature. Like dueling bandits, the goal is to compete with the best arm by sequentially querying the preference feedback of item pairs. The non-triviality however results due to the non-stationary item spaces that allow any arbitrary subsets items to go unavailable every round. The goal is to find an optimal 'no-regret' policy that can identify the best available item at each round, as opposed to the standard 'fixed best-arm regret objective' of dueling bandits. We first derive an instance-specific lower bound for DB-SPAA Ω(K−1 i=1 K j=i+1 log T ∆(i,j)), where K is the number of items and ∆(i, j) is the gap between items i and j. This indicates that the sleeping problem with preference feedback is inherently more difficult than that for classical multi-armed bandits (MAB). We then propose two algorithms, with near optimal regret guarantees. Our results are corroborated empirically.
Fichier principal
Vignette du fichier
main.pdf (915.86 Ko) Télécharger le fichier
Vignette du fichier
k_d1.png (21.93 Ko) Télécharger le fichier
Vignette du fichier
k_d3.png (21.37 Ko) Télécharger le fichier
Vignette du fichier
r_d1.png (28.03 Ko) Télécharger le fichier
Vignette du fichier
r_d2.png (28.33 Ko) Télécharger le fichier
Vignette du fichier
r_d3.png (28.93 Ko) Télécharger le fichier
Vignette du fichier
s1_d3_1.png (29.35 Ko) Télécharger le fichier
Vignette du fichier
s2_d3_1.png (30.3 Ko) Télécharger le fichier
Vignette du fichier
wc_hc2.png (34.87 Ko) Télécharger le fichier
Vignette du fichier
wc_ind2.png (34.28 Ko) Télécharger le fichier
Vignette du fichier
wc_lc2.png (34.94 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Format : Figure, Image
Format : Figure, Image
Format : Figure, Image
Origine : Fichiers produits par l'(les) auteur(s)
Format : Figure, Image
Format : Figure, Image
Format : Figure, Image
Format : Figure, Image
Format : Figure, Image
Format : Figure, Image
Format : Figure, Image

Dates et versions

hal-03451845 , version 1 (18-01-2022)

Identifiants

Citer

Aadirupa Saha, Pierre Gaillard. Dueling Bandits with Adversarial Sleeping. NeurIPS 2021 - 35th International Conference on Neural Information Processing Systems, Dec 2021, Virtual, Canada. pp.1-25. ⟨hal-03451845⟩
47 Consultations
64 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More