UniRank : un algorithme de bandit générique pour l'ordonnancement en ligne
Résumé
Nous abordons, dans le cadre d'un bandit à multi-choix, le problème d'ordonnancement en ligne consistant à assigner $L$ éléments à $K$ positions prédéfinies sur une page web afin de maximiser le nombre de clics de l'utilisateur. Nous proposons un algorithme générique, UniRank, qui traite les modèles de clics de l'état de l'art. La borne sur le regret de cet algorithme est une conséquence directe de la propriété de pseudo-unimodalité de l'espérance de récompense vis-à-vis d'un graphe où chaque nœud est un ordre sur des ensembles d'éléments indiscernables.
La principale contribution d'UniRank est son regret en ${\cal O}\left(L/\Delta \log T\right)$ pour $T$ affectations consécutives, où $\Delta$ mesure l'écart de récompense entre deux éléments.
Cette limite de regret est basée sur la condition généralement implicite selon laquelle deux éléments peuvent ne pas avoir le même attrait.
Des expériences contre des algorithmes de l'état de l'art, spécialisés ou non pour différents modèles de clics, montrent que notre méthode a de meilleures performances en matière de regret que d'autres algorithmes génériques sur deux ensembles de données réelles.