Construction d'une mesure de similarité thématique non supervisée pour les conversations - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2024

Building an Unsupervised Topical Similarity Measure for Conversation

Construction d'une mesure de similarité thématique non supervisée pour les conversations

Résumé

The topical structure of a conversation gives insight on the way interaction is organised at a more global level than utterance sequences. It enables us to understand how coherence is maintained throughout a dialogue. Creating a topical similarity measure which would give a similarity score to two pieces of interaction in terms of topic could enable us to analyse this structure. We train an unsupervised measure based on the Next Sentence Prediction BERT model on Reddit conversations. The structure of Reddit provides us different coherence levels between pairs of messages which allows us to train our model with a marginal ranking loss rather than with numerical values. This measure enables us to find locally coherent pieces of interaction in our dataset but also to measure the variability in terms of topic throughout a conversation.
La structure thématique d'une conversation représente la manière dont l'interaction est organisée à un niveau plus global que le strict enchaînement des interventions. Elle permet de comprendre comment la cohérence est maintenue sur le temps de l'échange. La création d'une mesure de similarité thématique qui donne un score de similarité à deux énoncés du point de vue thématique pourrait nous permettre de produire et d'analyser ces structures. Nous entraînons une mesure non supervisée, basée sur le modèle BERT avec prédiction de la phrase suivante, sur des conversations Reddit. La structure de Reddit nous fournit différents niveaux de proximité de cohérence entre des paires de messages, ce qui nous permet d'entraîner notre modèle avec une fonction de perte basée sur des comparaisons plutôt que sur des valeurs numériques attendues a priori. Cette mesure nous permet de trouver des ensembles d'interventions localement cohérents dans nos conversations Reddit, mais aussi de mesurer la variabilité en termes de thème tout au long d'une conversation.
Fichier principal
Vignette du fichier
TALN24_Reddit_Final.pdf (343.3 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04623028 , version 1 (25-06-2024)
hal-04623028 , version 2 (01-07-2024)

Licence

Identifiants

  • HAL Id : hal-04623028 , version 1

Citer

Amandine Decker, Maxime Amblard. Construction d'une mesure de similarité thématique non supervisée pour les conversations. Actes de JEP-TALN-RECITAL 2024. 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position, Jul 2024, Toulouse, France. pp.362-375. ⟨hal-04623028v1⟩
197 Consultations
57 Téléchargements

Partager

More