Softened approximate policy iteration for Markov games

This paper reports theoretical and empirical investigations on the use of quasi-Newton methods to minimize the Optimal Bellman Residual (OBR) of zero-sum two-player Markov Games. First, it reveals that state-of-the-art algorithms can be derived by the direct application of New-ton's method to different norms of the OBR. More precisely, when applied to the norm of the OBR, Newton's method results in the Bellman Residual Minimization Policy Iteration (BRMPI) and, when applied to the norm of the Projected OBR (POBR), it results into the standard Least Squares Policy Iteration (LSPI) algorithm. Consequently , new algorithms are proposed, making use of quasi-Newton methods to minimize the OBR and the POBR so as to take benefit of enhanced empirical performances at low cost. Indeed , using a quasi-Newton method approach introduces slight modifications in term of coding of LSPI and BRMPI but improves significantly both the stability and the performance of those algorithms. These phenomena are illustrated on an experiment conducted on artificially constructed games called Garnets.

Domaines

Optimisation et contrôle [math.OC] Recherche opérationnelle [math.OC] Complexité [cs.CC] Apprentissage [cs.LG] Statistiques [math.ST]

Fichier principal

nmz.pdf (387.68 Ko)

Dir_Ns_100_Na_8_Nb_10_sparsity_0-5sample_49gamma_0-99.pdf (13.08 Ko)

Dir_Ns_100_Na_8_Nb_1_sparsity_0-5sample_49gamma_0-99.pdf (13.05 Ko)

Dir_Ns_50_Na_2_Nb_1_sparsity_0-3sample_1-0gamma_0-9.pdf (13.77 Ko)

Dir_Ns_50_Na_2_Nb_4_sparsity_0-3sample_2-0gamma_0-9.pdf (12.86 Ko)

icml_numpapers.eps (11.97 Ko)

icml_numpapers.pdf (2.75 Ko)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Bruno Scherrer : Connectez-vous pour contacter le contributeur

https://inria.hal.science/hal-01393328

Soumis le : lundi 7 novembre 2016-18:18:39

Dernière modification le : jeudi 14 novembre 2024-15:54:02

Archivage à long terme le : mercredi 8 février 2017-13:54:58

Dates et versions

hal-01393328 , version 1 (07-11-2016)

Identifiants

HAL Id : hal-01393328 , version 1

Citer

Julien Pérolat, Bilal Piot, Matthieu Geist, Bruno Scherrer, Olivier Pietquin. Softened approximate policy iteration for Markov games. ICML 2016 - 33rd International Conference on Machine Learning, Jun 2016, New York City, United States. ⟨hal-01393328⟩

Exporter

BibTeX XML-TEI Dublin Core DC Terms EndNote DataCite

Collections

CNRS INRIA IECN INSMI GRID5000 CENTRALESUPELEC MALIS UMI-GTL CRISTAL UNIV-LORRAINE INRIA2 CRISTAL-SEQUEL TDS-MACS IECLPS UNIV-LILLE SILECS

592 Consultations

377 Téléchargements