Les méthodes classiques de résolution de Problèmes Décisionnels de Markov sont trop complexes pour être utilisées pour résoudre des problèmes nécessitant un grand nombre d'états. Les techniques de décomposition sont donc très intéressantes dans ce cadre. Nous proposons une approche de décomposition originale, fondée sur la représentation de l'environnement par un graphe. Les coûts de passage d'une région à l'autre, d'une importance cruciale vis-à-vis de la qualité de la politique obtenue, sont examinés avec beaucoup de soin. Notre approche est très rapide, et donne des politiques quasi-optimales.