Multimodal Neurofeedback based on EEG/fMRI Imaging Techniques and Visuo-Haptic Feedback for Stroke Rehabilitation - Inria - Institut national de recherche en sciences et technologies du numérique
Thèse Année : 2021

Multimodal Neurofeedback based on EEG/fMRI Imaging Techniques and Visuo-Haptic Feedback for Stroke Rehabilitation

Neurofeedback Multimodal basée sur de l’imagerie EEG/IRMf et des feeedback Visuo-Haptique pour de la rééducation cérébrale

Résumé

Le Neurofeedback (NF) est une technique consistant à renvoyer à un individu des informations sur son activité cérébrale, lui permettant ainsi de la moduler. Le NF a ainsi été étudié comme outil de rééducation cérébrale dans un grand nombre de troubles neurologique et psychiatrique, notamment pour de la rééducation post-Accident Vasculaire Cérébrale (AVC). Dans cette thèse, nous avons proposé et étudié de nouveaux systèmes de NF multimodaux, tant au niveau de l’entrée, en combinant plusieurs modalités de neuroimageries - en particulier l’ElectroEncephaloGraphie (EEG) et l’Imagerie par Résonance Magnétique fonctionnelle (IRMf), qu’au niveau de la sortie, en proposant des feedbacks multimodaux combinant feedback visuel et haptique. Dans la première partie de cette thèse, nous avons étudié la possibilité de combiné feedback visuel et feedback haptique pour une tâche de NF. Dans un premier temps, nous avons ainsi montré que la combinaison d’un feedback visuel (main en 3D en mouvement), avec l’association de vibrations sur les poignets, produisaient des illusions de mouvement plus intense que l’utilisation d’une main statique ou sans feedback. Dans un second temps, nous avons montré que l’utilisation d’un feedback visuohaptique (VH) associé à une tâche d’imagerie motrice (IM) produisait des activations plus importantes que lors de tâche d’IM seule. Enfin, nous avons étudié et implémenté ce feedback VH dans le contexte d’une étude MI-NF-IRMf, où ce feedback était confronté au même feedback mais visuel seul (V) et haptique seule (H). L’analyse des scores NF et des activations IRMf suggère que ce feedback VH a conduit à des activations dans le cortex motor plus intense que les feedback H et V seules et pourrait donc être potentiellement prometteur pour la rééducation post-AVC basée sur le fMRI-NF. Dans la sconde partie de cette thèse, nous avons implémenté un algorithme permettant de localiser la position des électrodes EEG lors d’expérience EEGIRMf, cette information pourrait s’avérer utile à l’avenir pour des expériences EEG-fMRI-NF. Enfin, nous présentons une étude EEG-fMRINF multimodale, sur plusieurs séances, avec quatre patients victimes d’un AVC. Les résultats suggèrent que deux patients sur quatre ont bénéficié de l’entrainement NF et ont fait état d’un gain fonctionnel important, même s’ils étaient en phase chronique de l’AVC.
Neurofeedback (NF) is a technique that consists of sending back to an individual information on his brain activity, thus allowing him to modulate it. NF has thus been studied as a tool for brain rehabilitation in a large number of neurological and psychiatric disorders, and in particular for post-stroke rehabilitation. In this thesis, we have proposed and studied new multimodal NF systems, both at the input level, by combining multiple neuroimaging modalities - in particular Electroencephalography (EEG) and Functional Imaging Magnetic Resonance (fMRI), and at the output level, by proposing multimodal feedback combining visual and haptic feedback. In the first part of this thesis, we studied the possibility of combining visual and haptic feedback for a NF task. In a first step, we showed that the combination of visual feedback (3D moving hand), with the association of vibrations on the wrists, produced illusions of movement more intense than the use of a static hand or without feedback. In a second step, we showed that the use of visual-haptic (VH) feedback combined with a motor imaging (MI) task produced higher activations than with the MI task alone. Finally, we studied and implemented this VH feedback in the context of an MI-NF-IRMf study, where this feedback was confronted with the same feedback but visual alone (V) and haptic alone (H). Analysis of the NF scores and fMRI-fMRI activations suggests that this VH feedback led to more intense activations in the motor cortex than the H and V feedback alone and therefore may be potentially promising for stroke rehabilitation based on fMRI-NF. In the second part of this thesis, we have implemented an algorithm to locate the position of the EEG electrodes within EEG-fMRI experiments, which may prove useful in future EEG-fMRI-NF experiments. Finally, we present a multimodal, multi-session, EEG-fMRI-NF study with four stroke patients. Results suggest that two out of four patients benefited from NF training and reported significant functional gain, even though they were in the chronic phase of stroke.
Fichier principal
Vignette du fichier
Manuscript_MathisFleury_final2.pdf (29.87 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03246556 , version 1 (08-05-2021)
tel-03246556 , version 2 (02-06-2021)

Identifiants

  • HAL Id : tel-03246556 , version 1

Citer

Mathis Fleury. Multimodal Neurofeedback based on EEG/fMRI Imaging Techniques and Visuo-Haptic Feedback for Stroke Rehabilitation. Computer Vision and Pattern Recognition [cs.CV]. Université de Rennes 1 (UR1), 2021. English. ⟨NNT : ⟩. ⟨tel-03246556v1⟩
494 Consultations
549 Téléchargements

Partager

More