Le domaine d'application des modèles décisionnels de Markov est vaste et de nombreuses communautés de recherche se sont intéressées à leur application (contrôle de processus, recherche opérationnelle, économie, interprétation de signaux, ...) Ce n'est que récemment, qu'ils de sont progressivement développés dans la communauté de recherche en IA pour la conception d'agents autonomes. Leur succés est lié notamment à leur capacité à modéliser l'incertitude dans laquelle est plongé un agent : incertitude liées à l'imperfection des capteurs, incertitudes liées à la compléxité des modes d'intéraction avec l'environnement, les autres agents ou l'utilisateur.