Dans cet article, nous présentons une architecture d'apprentissage par renforcement originale s'appuyant sur une carte neuronale auto-organisatrice dynamique pour intégrer une composante développementale à l'apprentissage. En suivant le schéma du "reservoir computing", la carte neuronale permet d'apprendre une approximation de la fonction de valeur dans un cadre où l'espace état × action est d'une taille conséquente. Pour appréhender la complexité inhérente à la taille du problème, nous proposons une approche développementale dans laquelle nous faisons augmenter la richesse et la complexité des espaces moteurs et perceptifs au fur et à mesure que les performances de l'agent apprenant s'accroissent. Nous détaillons les apports de cette proposition ainsi que les questions qu'elle soulève et explicitons notre architecture en la testant sur une tâche de robotique relativement simple.