Approximations de l'Algorithme Itérations sur les Politiques Modifié
Résumé
Itérations sur les politiques modifié (MPI) est un algorithme de programmation dynamique qui généralise les deux algorithmes célèbres Itérations sur les valeurs (VI) et sur les politiques (PI). Malgré sa généralité, cet algorithme - et particulièremet sa mise en œuvre approchée qui est utilisée lorsque les espaces d'états/actions sont très grands - n'a pas encore été l'objet d'une analyse approfondie. Nous proposons ici trois implémentations approchées de MPI (AMPI) qui sont des extensions d'algorithmes de la littérature (Fitted Value Iteration, Fitted Q-Iteration et Classification Based Policy Iteration). Nous développons une analyse de la propagation d'erreur qui unifie celles développées indépendemment pour VI et PI dans la littérature. Nous fournissons enfin une analyse en échantillons finis pour le dernier algorithme basé sur un classifieur de politiques, qui est en quelque sorte le plus général. Une observation intéressante est que la paramètre principal de MPI permet de contrôler, dans la borne de performance, l'équilibre entre les erreurs dans le calcul des valeurs et celles dans l'estimation de la politique gourmande.