Stationary Strong Stackelberg Equilibrium in Discounted Stochastic Games - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2021

Stationary Strong Stackelberg Equilibrium in Discounted Stochastic Games

Équilibre de Stackelberg Stationnaire Fort dans les jeux stochastiques actualisés

Abstract

In this work we focus on Stackelberg equilibria for discounted stochastic games. We begin by formalizing the concept of Stationary Strong Stackelberg Equlibrium (SSSE) policies for such games. We provide classes of games where the SSSE exists, and we prove via counterexamples that SSSE does not exist in the general case. We define suitable dynamic programming operators whose fixed points are referred to as Fixed Point Equilibrium (FPE). We show that the FPE and SSSE coincide for a class of games with Myopic Follower Strategy. We provide numerical examples that shed light on the relationship between SSSE and FPE and the behavior of Value Iteration, Policy Iteration and Mathematical programming formulations for this problem. Finally, we present a security application to illustrate the solution concepts and the efficiency of the algorithms studied in this article.
Dans cet article, nous nous focalisons sur les équilibres de Stackelberg pour pour les jeux stochastiques actualisés. Nous commençons par formaliser le concept d’équilibre fort de Stackelberg en politiques stationnaires (Strong Stationary Stackelberg Equilibria, SSSE) pour ces jeux. Nous exhibons des classes de jeux pour lesquels le SSSE existe et nous montrons par des contre-exemples que les SSSE n’existent pas dans le cas général. Nous définissons des opérateurs de programmation dynamique appropriés pour ce concept dont les points fixes sont nommés FPE (Fixed Point Equilibria). Nous montrons que le FPE et le SSSE coïncident pour la classe de jeux stochastiques avec stratégie du “follower” myope (Myopic Follower Strategy, MFS). Nous montrons des exemples numériques qui éclairent la relation entre SSSE et FPE ainsi que le comportement des algorithmes Value Iteration, Policy Iteration, et la formulation par Programmation Mathématique de ce problème. Finalement, nous décrivons une application dans le domaine de la sécurité pour illustrer les concepts de solution et l’efficacité des algorithmes introduits dans cet article.
Fichier principal
Vignette du fichier
RR-9271_v3.pdf (1.76 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-02144095 , version 1 (29-05-2019)
hal-02144095 , version 2 (30-09-2019)
hal-02144095 , version 3 (12-03-2021)

Identifiers

  • HAL Id : hal-02144095 , version 3

Cite

Víctor Bucarey, Eugenio Della Vecchia, Alain Jean-Marie, Fernando Ordóñez. Stationary Strong Stackelberg Equilibrium in Discounted Stochastic Games. [Research Report] RR-9271, Inria. 2021, pp.62. ⟨hal-02144095v3⟩
304 View
609 Download

Share

Gmail Facebook X LinkedIn More