Peut-on lire sur la langue ? Évaluation de l'apport de la vision de la langue à la compréhension de la parole - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2007

Peut-on lire sur la langue ? Évaluation de l'apport de la vision de la langue à la compréhension de la parole

Résumé

De nombreux travaux ont établi que la vision des articulateurs typiquement visibles (lèvres, mâchoire, visage, partie antérieure de la langue, dents) facilite la compréhension de la parole par les humains, et augmente significativement le taux de reconnaissance. Pour autant, tout ne peut être " lu " sans ambigüité avec la seule vue du visage. En particulier, la langue porte ne part importante de l'information articulatoire mais n'est généralement pas visible. La Langue française Parlée Complétée utilisée par une partie de la communauté des malentendants vise justement à compléter l'information labiale par des signes de la main et des doigts qui donnent des informations en particulier sur la langue, organe qui porte une part importante de l'information articulatoire. Ce codage, même s'il est efficace selon la théorie de l'information, est arbitraire et sans lien naturel avec la forme de la langue. Nous avons donc voulu tester l'hypothèse que la vision directe et complète de la langue - information a priori plus intuitive - peut être utilisée par les sujets. Pour cela, nous avons donc utilisé la tête parlante virtuelle audiovisuelle du laboratoire, qui permet d'afficher tous les articulateurs de la parole, y compris la langue. Le mode de réalité augmentée choisi est un écorché de profil. Nous avons construit un ensemble de stimuli audiovisuels VCV, avec V = /a i u y/ et C = /b d g v z ʒ ʁ l/ en déterminant les paramètres de contrôle de la tête parlante par inversion à partir des positions des bobines d'un articulographe électromagnétique fixées sur la langue, la mâchoire et les lèvres du sujet pour lequel la tête parlante a été construite. Ces stimuli ont été présentés dans un test de perception audiovisuelle suivant quatre modalités: audio seul (AuS), audiovisuel avec intérieur du visage sans langue (AV), avec intérieur du visage avec langue (AVL) et avec visage complet vu de l'extérieur (AVV). Chaque modalité était présentée avec quatre niveaux RSB de bruit blanc ajouté au son: -∞ (vidéo seule), -9 dB, +3 dB, +∞ (signal sans bruit). Pour chaque stimulus, la réponse devait être choisie de manière forcée entre les huit consonnes. Pour tester les effets d'apprentissage, 12 sujets (groupe I) ont transcrit les stimuli avec des niveaux de bruits décroissants dans chaque modalité, tandis que 11 autres sujets (groupe II) ont identifié les stimuli avec un bruit croissant (ce qui permettait un éventuel apprentissage de la relation entre audio et vidéo lorsque le signal audio était clair en début de test pour une modalité donnée). Enfin, un autre ensemble de stimuli VCV avec V = /ɛ e o/ (mode AVL ; RSB, à - 9dB) a été utilisé en fin de test pour évaluer les capacités de généralisation des sujets des deux groupes. Une série d'analyses a permis de dégager les résultats suivants. Les scores de reconnaissance du groupe II sont significativement plus élevés que ceux de groupe I, ce qui conforte l'idée que le groupe II a bénéficié d'un apprentissage implicite plus fort. Toutes les modalités de présentation vidéo améliorent la compréhension de parole par rapport à l'audio seul. Les scores pour l'ensemble des niveaux de RSB se classent, pour chaque groupe, avec des différences statistiquement significatives, dans l'ordre décroissant : AVV, AVL, AV, AuS. Pour chaque RSB, AVV est significativement mieux décodé que AV : les sujets préfèrent un rendu écologique des mouvements à un écorché. La modalité AVL n'est pas significativement mieux perçue que la modalité AV sauf lorsque le signal audio est absent, pour le groupe II, qui a bénéficié d'un apprentissage implicite plus fort : dans ce cas le score AVL est supérieur de 18% au score AV. Ce résultat suggère que la lecture " linguale " peut prendre le relai de l'information audio lorsque cette dernière n'est plus suffisante pour compléter la lecture labiale. Le taux de reconnaissance relativement élevé du test de généralisation, ainsi que la différence globale de performance entre les deux groupes semble montrer par ailleurs qu'un apprentissage rapide peut être réalisé. Ces résultats très préliminaires sont à compléter par des tests plus systématiques impliquant notamment des mesures d'attention visuelle, pour confirmer que nos capacités naturelles de lecture linguale sont faibles, ou simplement dominées par celles en lecture labiale. Nous envisageons cependant d'élaborer des protocoles pour montrer que l'apprentissage de la lecture linguale est rapide et facile.
Fichier non déposé

Dates et versions

hal-00175679 , version 1 (30-09-2007)

Identifiants

  • HAL Id : hal-00175679 , version 1

Citer

Yuliya Tarabalka, Pierre Badin, Gérard Bailly, Frédéric Elisei. Peut-on lire sur la langue ? Évaluation de l'apport de la vision de la langue à la compréhension de la parole. JPC 2007 - 2èmes Journées de Phonétique Clinique, Dec 2007, Grenoble, France. ⟨hal-00175679⟩
338 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More