Utilisation de wav2vec 2.0 pour des tâches de classifications phonétiques : aspects méthodologiques - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2024

Utilisation de wav2vec 2.0 pour des tâches de classifications phonétiques : aspects méthodologiques

Résumé

L’apprentissage auto-supervisé, particulièrement dans le contexte de la parole, a démontré son efficacité dans diverses tâches telles que la reconnaissance du locuteur et la reconnaissance de la parole. Notre question de recherche se concentre sur l’efficacité des représentations vectorielles - extraites de phonèmes - plus courtes par rapport à des séquences plus longues dans la détection de la nasalité. Deux approches distinctes ont été étudiées : extraire des vecteurs sur la durée du phonème et prendre des séquences plus longues avec une seconde ajoutée de chaque côté du phonème, puis récupérer la partie centrale a posteriori. Les résultats révèlent que les modèles réagissent différemment selon les phones et les locuteurs, avec une variabilité observée à ces niveaux. Le modèle à séquences longues surpasse le modèle à séquences courtes en assurant une corrélation plus robuste avec le débit d’air nasal.
Fichier principal
Vignette du fichier
4331.pdf (241.63 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04623074 , version 1 (01-07-2024)

Licence

Identifiants

  • HAL Id : hal-04623074 , version 1

Citer

Lila Kim, Cédric Gendrot. Utilisation de wav2vec 2.0 pour des tâches de classifications phonétiques : aspects méthodologiques. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.219-229. ⟨hal-04623074⟩

Relations

32 Consultations
43 Téléchargements

Partager

More