Nouvelles méthodes statistiques pour le traitement des données textuelles volumineuses et changeantes
Résumé
Face à l’évolution de la notion de texte et à la croissance continuelle de l’information textuelle, de multiple natures, disponible en ligne, un des enjeux important pour les linguistes, mais également pour les didacticiens, pour pouvoir étayer ou construire des hypothèses et valider des modèles, est celui de pouvoir disposer d’outils d’analyse textuelle efficaces, capables de s’adapter à de gros volumes de données, souvent de nature hétérogène et distribuée. Nous proposons dans cette communication de nous intéresser à de nouvelles méthodes statistiques qui s’inscrivent dans ce cadre. Les mesures statistiques les plus utilisées en analyse textuelle sont des mesures distributionnelles, principalement basées sur l’entropie, ou sur la métrique du Chi2. Il a cependant été récemment montré que ces approches présentaient de fortes limitations dans le cas du traitement d’informations fortement déséquilibrés et fortement similaires. Les auteurs ont récemment proposé une métrique alternative basée sur la maximisation des traits qui ne présente pas ces inconvénients. Le principe de cette métrique est de définir une mesure de compromis entre la généralité et la discrimination en se basant à la fois sur les propriétés extraites des données propres à chaque groupe d’analyse, et sur celles partagées entre les groupes. Nous présentons les principes généraux de la méthode et nous revenons sur son application à l’analyse de discours sur différents types de corpus, pour la plupart volumineux et réputés difficiles.