Automatic speech and language processing for precision medicine in Huntington’s disease
Traitement automatique de la parole et du langage pour un suivi personnalisé de la maladie de Huntington
Abstract
Neurodegenerative diseases are a major social issue and public health priority
worldwide. Huntington Disease (HD) is a rare disease of genetic origin that causes
cognitive, behavioural and motor disorders due to brain lesions, in particular in the
striatum. People with the genetic mutation of HD have a pre-symptomatic phase
of several decades during which they have no neurological disorder before the
symptomatic phase occurs. The symptoms of this disease have many implications
in the life activities of the patient, with a gradual loss of autonomy, until the death
of the patient. This makes HD a potential model of neurodegenerative diseases
that could lead to the development of new clinical monitoring tools. The current
medical monitoring in HD is expensive and requires the patient to travel regularly to
the hospital, generating a significant human and financial burden. The purpose of
this thesis is to develop and validate new computational methods for automatically
monitoring Huntington’s Disease individuals, thanks to the analysis of their spoken
language productions. Spoken language production invokes various cognitive, social
and motor skills, and its realisation is influenced by the mental state of the individual.
Our hypothesis is that through the inspection of the produced speech and its content
we can assess these different skills and states. To this date, the analysis of spoken
language disorders in HD is only performed in a few clinical departments and
specialised research teams, at a small scale without classic clinical validation. In
addition, the potential of spoken language markers to predict the different symptoms
in HD have not been explored.
Therefore in this thesis, we designed a comprehensive spoken language battery,
along with a complete annotation protocol that is parsable by a computer program.
This battery measures different parameters to obtain a wide clinical picture of
spoken language in HD, that varies the linguistic target, the cognitive load, the
emotional content, the topics and the materials of the discourse. To speed up the
annotations protocol, we designed and developed open-source software to manage
linguistic annotation campaigns. This allowed us to collect what is, to the best of
our knowledge, the largest database of fine-grained annotated spoken language
productions in HD, with 125 annotated interviews of 3 groups of individuals: healthy
controls, premanifest individuals carrying the gene that causes HD and manifest
HD at different stages. Besides, we also formalized and implemented the tracks of
i
communication introduced by H. Clark, which allow analyzing the use of spoken
language in spontaneous exchanges for HD individuals. Then, to speed up and automate the annotation process, we developed and validated machine learning methods
to recognise turn-takings and identify these tracks of communication directly from
speech. Finally, thanks to this new database, we assessed the capabilities of spoken
language markers to predict the different symptoms in HD. We especially found out
that rhythm and articulatory markers extracted from tasks with a cognitive load can
predict accurately the global, motor, functional and cognitive components of the
disease. We additionally found significant correlations between silence statistics and
the volume of the striatum, the neuro-anatomical hallmark of the disease progress.
In spontaneous productions, we found that the ratio of tracks of communication
was different between HD individuals and other groups. The primary track was
diminished, the timing ratio of secondary presentation (filled pauses) also decreased
and the timing of incidental elements (ex: vocal noises, audible respiration) greatly
increased. We also proposed new methodologies to examine the emotional speech
production in HD. Finally, we found out that the manifest individuals with HD have
both vocal and linguistic impairments during emotional speech production.
Les maladies neurodégénératives sont un enjeu social majeur et une priorité de santé
publique dans le monde entier. La maladie de Huntington (MH) est une maladie rare
d’origine génétique qui provoque des troubles cognitifs, comportementaux et moteurs dus à des lésions cérébrales, notamment au niveau du striatum. Les personnes
porteuses de la mutation génétique de la MH ont une phase pré-symptomatique de
plusieurs décennies au cours de laquelle elles n’ont aucun trouble neurologique avant
que la phase symptomatique n’apparaisse. Les symptômes de cette maladie ont de
nombreuses implications dans le quotidien, avec une perte progressive d’autonomie
jusqu’au décès du patient. Cela fait de la MH un modèle potentiel de maladies
neurodégénératives qui pourrait conduire au développement de nouveaux outils de
suivi clinique. Le suivi médical actuel pour la MH est onéreux et oblige le patient
à se rendre régulièrement à l’hôpital, générant une charge humaine et financière
importante. L’objectif de cette thèse est de développer et de valider de nouvelles
méthodes computationnelles pour le suivi automatique des individus avec la MH,
grâce à l’analyse de leurs productions langagières. En effet, la production du langage oral fait appel à diverses compétences cognitives, sociales et motrices, et sa
ii
réalisation est influencée par l’état mental et neurologique. Notre hypothèse est
qu’à travers l’inspection de la parole et de son contenu nous pouvons évaluer ces
différentes compétences et traits. À ce jour, l’analyse des troubles de la parole et du
langage pour la MH n’est pratiquée que dans quelques services cliniques et équipes
spécialisées, à petite échelle. De plus, la capacité des marqueurs issus du langage
oral à prédire les différents symptômes de la MH n’a pas été explorée.
Par conséquent, dans cette thèse, nous avons conçu une batterie complète de tâches
qui testent plusieurs niveaux de production de la parole, ainsi qu’un protocole
d’annotations complet qui reste analysable par un programme informatique. Cette
batterie a été conçu pour obtenir un tableau clinique complet du langage parlé en
MH, qui fait varier la cible linguistique, la charge cognitive, le contenu émotionnel,
les sujets du discours. Pour accélérer le processus d’annotations, nous avons conçu
et développé un logiciel open source pour gérer les campagnes d’annotations. Nous
avons pu ainsi collecter la plus grande base de données de productions langagières,
à ce jour, avec 125 entretiens annotés pour 3 groupes d’individus: des témoins sains,
des individus porteurs du gène qui cause la MH mais sans symptômes cliniques et des
individus symptomatiques avec la MH à différents stades. Par ailleurs, nous avons
également formalisé et implémenté les voies de communication introduites par H.
Clark, qui permettent d’analyser la parole dans des échanges spontanés. Ensuite,
pour accélérer et automatiser les annotations, nous avons développé et validé des
algorithmes d’apprentissage profond pour reconnaître les tours de parole lors des
entretiens et reconnaître les voies de communication directement à partir de l’audio.
Enfin, grâce à cette nouvelle base de données, nous avons évalué les capacités
des marqueurs issus de la parole à prédire les différents symptômes de la MH.
Nous avons notamment découvert que les marqueurs rythmiques et articulatoires,
lors des tâches à charge cognitive plus élevée, pouvaient prédire les composantes
globales, motrices, fonctionnelles et cognitives de la maladie et corrélaient avec le
volume du striatum, la marque neurale de l’évolution de la maladie. Nous avons
également proposé de nouvelles méthodologies pour examiner la production de la
parole émotionnelle dans la MH. Nous avons ainsi découvert que les individus avec
des symptoms cliniques de la MH ont à la fois des troubles vocaux et linguistiques
lors de la production de la parole émotionnelle.
Origin : Files produced by the author(s)