Dans le cadre de la mise au point de torpilles chez Naval group, les algorithmes de contrôles embarqués sont développés en simulation numérique. Le simulateur intègre plusieurs modèles pour évaluer les performances dans une mise en situation la plus plus proche de la réalité possible. Dans ce cadre, il est donc nécessaire de créer un modèle de l’opérateur qui est normalement en communication direct avec la torpille lors d’un tir réel. Cependant, les modèles opérateurs mis en place jusque là grâce à des méthodes symboliques, dont notamment des machines à états, n’ont pas un niveau de représentativité satis- faisants. L’apprentissage par renforcement profond a récemment montré de très bonnes capacités à résoudre des problèmes de décision séquentiel complexes. Elle semble donc a priori capable de répondre à cette problématique industrielle. Cependant, cette approche souffre d’une inefficience de l’utilisation de ses données et d’un manque d’interprétabilité dû à l’utilisation des réseaux de neurones. Dans cet article, nous proposons une approche théorique afin d’étudier le couplage entre une machine à états et l’apprentissage par renforcement profond afin de tirer profit du travail passé et des connaissances métiers sur l’environnement industriel pour palier certaines difficultés de l’apprentissage par renforcement profond et d’obtenir un modèle opérateur acceptable.