Création d'un corpus parallèle de styles de parole en mandarin via l'auto-transcription et l'alignement forcé - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2024

Creating a Speaking Styles Parallel Corpus in Mandarin through Auto-transcription and ForcedAlignment

Création d'un corpus parallèle de styles de parole en mandarin via l'auto-transcription et l'alignement forcé

Résumé

ASR technology excels in accurately transcribing prepared read speech, but it still encounters challenges when dealing with spontaneous conversations. This is partly because the latter is an unprepared,casual language register with lots of disfluencies and speech reductions. In order to improve ourknowledge about speech variations, we designed an oral corpus of 36 hours of Mandarin Chinese.Spontaneous conversations are automatically transcribedand selected excerpts of these are then readby their authors. We employed WHISPER for automatic speech transcription and the Montreal ForcedAligner for forced alignment, which represents an effective procedure from speech to text, then tomulti-tier annotation within phones, characters/syllables, and words, particularly suitable for largescale speech corpus construction. This enabled us to collect different speaking styles with partlyoverlapped content produced by the same speaker. Such parallel corpus are particularly helpful toinvestigate temporal speech reduction phenomena in spontaneous speech.
La technologie ASR excelle dans la transcription précise des discours lus préparés, mais elle rencontre encore des défis lorsqu’il s’agit de conversations spontanées. Cela est en partie dû au fait que ces dernières relèvent d’un registre de langage informel, avec disfluences et réductions de parole. Afin de mieux comprendre les différences de production en fonction des styles de parole, nous présentons la création d’un corpus de parole conversationnelle, dont des extraits sont ensuite lus par leurs auteurs. Le corpus comprend 36 heures de parole en chinois mandarin avec leur transcription, réparties entre conversations spontanées et lecture. Nous avons utilisé WHISPER pour la transcription automatique de la parole et le Montreal Forced Aligner pour l’alignement forcé, résultant dans un corpus de parole transcrit avec annotations multi-niveaux incluant phonèmes, caractères/syllabes et mots. De telles productions de parole parallèles (en modes spontané et lu) seront particulièrement intéressantes pour l’étude des réductions temporelles.
Fichier principal
Vignette du fichier
6119.pdf (533.59 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04623081 , version 1 (01-07-2024)

Licence

Identifiants

  • HAL Id : hal-04623081 , version 1

Citer

Jingyi Sun, Yaru Wu, Nicolas Audibert, Martine Adda-Decker. Création d'un corpus parallèle de styles de parole en mandarin via l'auto-transcription et l'alignement forcé. JEP-TALN-RECITAL 2024 [35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024)], Jul 2024, Toulouse, France. pp.291-300. ⟨hal-04623081⟩
75 Consultations
42 Téléchargements

Partager

More