Nous proposons une nouvelle méthodologie d'apprentissage par renforcement (AR) pour la conception de systèmes multi-agents réactifs. Bien que le cadre réaliste d'agents situés avec des perceptions locales sorte du cadre théorique de convergence des algorithmes classiques d'apprentissage par renforcement, notre méthode permet à chaque agent d'apprendre individuellement et localement son comportement. L'aspect progressif de notre algorithme qui met les agents en présence de sous-tâches de plus en plus complexes permet de dépasser les limitations classiques de l'AR dans ce contexte. Notre méthodologie, qui se veut générale, est validée en simulation sur un problème où les agents doivent se coordonner pour atteindre un but global.