Stationary Strong Stackelberg Equilibrium in Discounted Stochastic Games
Équilibre de Stackelberg Stationnaire Fort dans les jeux stochastiques actualisés
Résumé
In this work we focus on Stackelberg equilibria for discounted stochastic
games. We begin by formalizing the concept of Stationary Strong Stackelberg Equlibrium
(SSSE) policies for such games. We provide classes of games where the SSSE exists, and
we prove via counterexamples that SSSE does not exist in the general case. We define
suitable dynamic programming operators whose fixed points are referred to as Fixed
Point Equilibrium (FPE). We show that the FPE and SSSE coincide for a class of games
with Myopic Follower Strategy. We provide numerical examples that shed light on the
relationship between SSSE and FPE and the behavior of Value Iteration, Policy Iteration
and Mathematical programming formulations for this problem. Finally, we present a
security application to illustrate the solution concepts and the efficiency of the algorithms
studied in this article.
Dans cet article, nous nous focalisons sur les équilibres de Stackelberg
pour pour les jeux stochastiques actualisés. Nous commençons par formaliser le concept
d’équilibre fort de Stackelberg en politiques stationnaires (Strong Stationary Stackelberg
Equilibria, SSSE) pour ces jeux. Nous exhibons des classes de jeux pour lesquels le SSSE
existe et nous montrons par des contre-exemples que les SSSE n’existent pas dans le cas
général. Nous définissons des opérateurs de programmation dynamique appropriés pour ce
concept dont les points fixes sont nommés FPE (Fixed Point Equilibria). Nous montrons
que le FPE et le SSSE coïncident pour la classe de jeux stochastiques avec stratégie
du “follower” myope (Myopic Follower Strategy, MFS). Nous montrons des exemples
numériques qui éclairent la relation entre SSSE et FPE ainsi que le comportement des
algorithmes Value Iteration, Policy Iteration, et la formulation par Programmation
Mathématique de ce problème. Finalement, nous décrivons une application dans le
domaine de la sécurité pour illustrer les concepts de solution et l’efficacité des algorithmes
introduits dans cet article.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|