Ce double numéro spécial de la revue RIA rassemble des travaux francophones sur le thème général de l'utilisation des Processus de Décision Markoviens (PDM) en Intelligence Artificielle (IA). Ce domaine est aujourd'hui très actif du fait de ses nombreuses applications en planification dans l'incertain et en apprentissage par renforcement, dans des contextes aussi divers que la robotique (planification des actions d'un agent mobile autonome dans un contexte mal connu), les agents adaptatifs (recherche ou simulation de comportements intelligents), mais aussi le contrôle automatique de processus de production ou de gestion de stocks. Les PDM proposent un cadre formel pour déterminer des stratégies optimales de sélection d'actions pour parvenir à un but donné dans un contexte où les conséquences des actions sont incertaines. La résolution d'un PDM « classique » (observabilité totale, incertain probabiliste, récompenses scalaires additives, critère de l'utilité espérée) consiste à déterminer, à un horizon donné, une politique maximisant l'espérance d'une récompense globale (ou minimisant l'espérance d'un coût global), ce qui se fait généralement par programmation dynamique. [...]