Approximations de l'Algorithme Itérations sur les Politiques Modifié - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2012

Approximations de l'Algorithme Itérations sur les Politiques Modifié

Bruno Scherrer
Victor Gabillon
  • Fonction : Auteur
  • PersonId : 925091
Mohammad Ghavamzadeh
  • Fonction : Auteur
  • PersonId : 868946

Résumé

Itérations sur les politiques modifié (MPI) est un algorithme de programmation dynamique qui généralise les deux algorithmes célèbres Itérations sur les valeurs (VI) et sur les politiques (PI). Malgré sa généralité, cet algorithme - et particulièremet sa mise en œuvre approchée qui est utilisée lorsque les espaces d'états/actions sont très grands - n'a pas encore été l'objet d'une analyse approfondie. Nous proposons ici trois implémentations approchées de MPI (AMPI) qui sont des extensions d'algorithmes de la littérature (Fitted Value Iteration, Fitted Q-Iteration et Classification Based Policy Iteration). Nous développons une analyse de la propagation d'erreur qui unifie celles développées indépendemment pour VI et PI dans la littérature. Nous fournissons enfin une analyse en échantillons finis pour le dernier algorithme basé sur un classifieur de politiques, qui est en quelque sorte le plus général. Une observation intéressante est que la paramètre principal de MPI permet de contrôler, dans la borne de performance, l'équilibre entre les erreurs dans le calcul des valeurs et celles dans l'estimation de la politique gourmande.
Fichier non déposé

Dates et versions

hal-00736226 , version 1 (27-09-2012)

Identifiants

  • HAL Id : hal-00736226 , version 1

Citer

Bruno Scherrer, Victor Gabillon, Mohammad Ghavamzadeh, Matthieu Geist. Approximations de l'Algorithme Itérations sur les Politiques Modifié. Journées Francophones sur la planification, la décision et l'apprentissage pour le contrôle des systèmes - JFPDA 2012, May 2012, Villers-lès-Nancy, France. 1 p. ⟨hal-00736226⟩
260 Consultations
0 Téléchargements

Partager

More