Rolling horizon procedures in Semi-Markov Games: The Discounted Case - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2012

Rolling horizon procedures in Semi-Markov Games: The Discounted Case

Abstract

We study the properties of the rolling horizon and the approximate rolling horizon procedures for the case of two-person zero-sum discounted semi-Markov games with infi nite horizon, under several assumptions on the reward function, when the state space is a borelian set and the action spaces are considered compact. Under suitable conditions, we prove that the equilibrium is the unique solution of its dynamic programming equation, and we prove bounds which imply the convergence of the procedures when the horizon length tends to in finity. The approach is based on the formalism for Semi-Markov games developed by Luque-Vásquez, together with extensions of the results of Hernández-Lerma and Lasserre for Markov Decision Processes and Chang and Marcus for Markov Games, both in discrete time. In this way we generalize the results on the rolling horizon and approximate rolling horizon procedures previously obtained for discrete-time problems.
Nous étudions les propriétés de la procédure de décision à horizon roulant et une approximation de cette procédure, pour le cas de jeux semi-Markoviens à somme nulle avec horizon in fini et actualisation, sous diff érentes hypothèses concernant la fonction de récompense, quand l'espace d'états est un ensemble borélien et les espaces d'actions sont compacts. Sous des hypothèses appropriées, nous montrons que l'équilibre est l'unique solution de l'équation de programmation dynamique associée au jeu, puis nous prouvons des bornes d'erreur impliquant la convergence des procédures quand l'horizon de programmation tend vers l'infi ni. Notre approche est basée sur le formalisme pour les jeux semi-Markoviens développé par Luque-Vásquez, joint à des extensions des résultats de Hernández-Lerma et Lasserre pour les processus de décision Markoviens et Chang et Marcus pour les jeux Markoviens, ces deux derniers travaux étant en temps discret. De cette façon, nous généralisons les résultats sur la procédure à horizon roulant obtenus pour les problèmes en temps discret.
Fichier principal
Vignette du fichier
rr2_220514.pdf (718.97 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-00720351 , version 1 (25-07-2012)
hal-00720351 , version 2 (22-05-2014)

Identifiers

  • HAL Id : hal-00720351 , version 2

Cite

Eugenio Della Vecchia, Silvia C. Di Marco, Alain Jean-Marie. Rolling horizon procedures in Semi-Markov Games: The Discounted Case. [Research Report] RR-8019, INRIA. 2012. ⟨hal-00720351v2⟩
287 View
259 Download

Share

Gmail Facebook X LinkedIn More