Événements impossibles en modélisation stochastique du langage - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Journal Articles Revue TAL : traitement automatique des langues Year : 2003

Événements impossibles en modélisation stochastique du langage

Abstract

Dans cet article, nous nous proposons d'introduire la notion d'événement impossible dans les modèles de langage statistiques. En effet, dans la langue écrite, seules les constructions respectant des règles grammaticales appropriées, sont acceptées. Pour toutes les autres, on considérera qu'elles sont erronées et non pas peu probables comme on le fait dans les modèles de langage statistiques classiques. Pour déterminer si un événement est possible ou non, nous utilisons comme sources d'informations des corpus étiquetés avec diverses classifications construites sur des critères linguistiques ou à l'aide de méthodes automatiques. Nous leur appliquons plusieurs heuristiques fondées sur la théorie de l'information. Nous appliquons ces règles pour la détection de bigrammes impossibles dans la langue française et en recensons ainsi 60 millions pour un vocabulaire de 20000 mots. Le taux d'erreur de la décision d'impossibilité est estimé à moins de 1%. Un nouveau modèle de langage statistique est développé prenant en compte les événements impossibles. L'amélioration de la perplexité varie de 25% à 48% selon les conditions de test. || In this paper, we propose to introduce the notion of impossible events for statistical language modelling. In language, only sentences respecting grammatical constraints are correct. The others will be considered as wrong contrary to classical statistical
No file

Dates and versions

inria-00099594 , version 1 (26-09-2006)

Identifiers

  • HAL Id : inria-00099594 , version 1

Cite

David Langlois, Armelle Brun, Kamel Smaïli, Jean-Paul Haton. Événements impossibles en modélisation stochastique du langage. Revue TAL : traitement automatique des langues, 2003, 44 (1), pp.33-61. ⟨inria-00099594⟩
94 View
0 Download

Share

Gmail Facebook Twitter LinkedIn More