Pronunciation and disfluency modeling for expressive speech synthesis
Modélisation de la prononciation et des disfluences pour la synthèse de la parole expressive
Résumé
The emergence of new technologies in the last years has prompted substantial usage of synthetic speech in numerous domains and various types of applications where speech plays an important role. As a consequence, the need for more natural and expressive speech synthesis systems has increased. In this thesis, we address the particular problem of expressivity in TTS by incorporating two phonemena with a high impact on speech: pronunciation variants and speech disfluencies.
In the first part of this thesis, we present a new pronunciation variant generation method which works by adapting standard, i.e. dictionary-based, pronunciations to a spontaneous style. Its strength and originality lie in exploiting a wide range of linguistic, articulatory and acoustic features and to use a probabilistic machine learning framework, namely conditional random fields (CRFs) and language models. Extensive experiments on the Buckeye corpus demonstrate the effectiveness of this approach through objective and subjective evaluations. Listening tests on synthetic speech show that adapted pronunciations are judged as more spontaneous than standard ones, as well as those realized by real speakers. Furthermore, we show that the methode can be extended to other adaptation tasks, for instance, to solve the problem of inconsistency between phoneme sequences handled in TTS systems.
The second part of this thesis explores a novel approach to automatic generation of speech disfluencies for TTS. Speech disfluencies are one of the most pervasive phenomena in spontaneous speech, therefore being able to automatically generate them is crucial to have more expressive synthetic speech. The proposed approach provides the advantage of generating several types of disfluencies: pauses, repetitions and revisions. To achieve this task, we formalize the problem as a theoretical process, where transformation functions are iteratively composed. We present a first implementation of the proposed process using CACs and language models, before conducting objective and perceptual evaluations. These experiments lead to the conclusion that our proposition is effective to generate disfluencies, and highlights perpectives for future improvements.
L'émergence des nouvelles technologies a conduit à de nouveaux usages de parole synthétique dans différents domaines et types d'applications où la parole joue un rôle important. En conséquence, le besoin de systèmes de synthèse de la parole plus naturelle et plus expressive a augmenté. Dans cette thèse, nous traitons du problème de l'expressivité dans le cadre de la synthèse de la parole en intégrant une production automatique de variantes de prononciations et de disfluences verbales. Ces deux phénomènes ont montré un impact important sur l'expressivité dans la parole.
Dans la première partie de cette thèse, nous présentons une nouvelle méthode de production de variantes de prononciations qui adapte les prononciations standards, c'est-à-dire issues d'un dictionnaire, à un style spontané. La force et l'originalité de cette méthode tient dans l'exploitation d'une vaste gamme d'informations linguistiques, articulatoires et acoustiques, ainsi que dans l'utilisation d'un cadre probabiliste d'apprentissage automatique, à savoir les champs aléatoires conditionnels (CAC) et les modèles de langage. La méthode est tout d'abord testé dans un contexte de parole spontanée, puis nous montrons qu'elle peut être étendue à d'autres tâches d'adaptation, par exemple pour résoudre des problèmes d'incohérences entre les annotations phonétiques d'un corpus de parole et les prédictions d'un phonétiseur. Des expériences poussées sur le corpus Buckeye démontre l'efficacité de notre approche à travers des évaluations objectives et perceptives. Des tests d'écoutes sur de la parole synthétisée montrent que les prononciations adaptées sont jugées plus spontanées que les prononciations standards, et même que celle réalisées par les locuteurs du corpus étudié. De même, les expériences prouvent la capacité de la méthode à réduire ces incohérences.
La seconde partie de la thèse explore une nouvelle approche de production automatique de disfluences dans les énoncés en entrée d'un système de synthèse de la parole. Les disfluences sont l'un des phénomènes les plus omniprésents dans la parole spontanée. Ainsi, produire automatiquement des disfluences est crucial pour obtenir une parole synthétique plus expressive. L'approche proposée offre l'avantage d'être capable de produire plusieurs types de disfluences, à savoir des pauses, des répétitions et des révisions. Pour cela, nous présentons une formalisation novatrice du processus de production de disfluences à travers un mécanisme de composition de ces disfluences. Nous présentons une première implémentation de notre processus, elle aussi fondée sur des CAC et des modèles de langage, puis conduisons des évaluations objectives et perceptives. Celles-ci nous permettent de conclure à la fonctionnalité de notre proposition et d'en discuter les pistes principales d'amélioration.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...