Ce papier présente un ensemble de données original d'interactions contrôlées, en se concentrant sur l'étude des feedbacks. Il s'agit d'enregistrements de différentes conversations entre un médecin et un patient, jouées par des acteurs. Dans ce corpus, le patient est principalement un auditeur et produit différents feedbacks, dont certains sont (volontairement) incongrus. De plus, ces conversations ont été resynthétisées dans un contexte de réalité virtuelle, dans lequel le patient est joué par un agent artificiel. Le corpus final est constitué de différents films de conversations humain-humain, ainsi que les mêmes conversations rejouées dans un contexte humain-machine, ce qui donne le premier corpus parallèle humain-humain/humain-machine. Le corpus est ensuite enrichi de différentes annotations multimodales aux niveaux verbal et non verbal. De plus, ce corpus a été enrichi de données de perception subjective et de données neurophysiologique. Nous avons en effet conçu une expérience au cours de laquelle différents participants devaient regarder les films du corpus et donner une évaluation de l'interaction. Au cours de cette tâche, nous avons mesuré l’activité cérébrale du participant par électroencéphalographie. L'ensemble de données Brain-IHM est conçu dans un triple but : 1/ étudier les feedbacks en comparant les feedbacks congruents versus incongruents 2/ comparer la perception des feedbacks produit par l’humain versus la machine 3/ étudier les bases cérébrales de la perception des feedbacks.