Jargon : Une suite de modèles de langues et de référentiels d'évaluation pour les domaines spécialisés du français
Vincent Segonne
(1)
,
Aidan Mannion
(2, 3)
,
Laura Alonzo-Canul
(2)
,
Audibert Alexandre
(2)
,
Xingyu Liu
(2, 3, 4)
,
Cécile Macaire
(2, 3)
,
Adrien Pupier
(2, 3)
,
Yongxin Zhou
(2, 3)
,
Mathilde Aguiar
(5)
,
Felix Herron
(2, 6)
,
Magali Norré
(7, 8)
,
Massih-Reza Amini
(2, 9)
,
Pierrette Bouillon
(8)
,
Iris Eshkol-Taravela
(10)
,
Emmanuelle Esparança-Rodier
(2)
,
Thomas François
(7)
,
Lorraine Goeuriot
(2, 11)
,
Jérôme Goulian
(12, 2, 3)
,
Mathieu Lafourcade
(13)
,
Benjamin Lecouteux
(2, 12, 3)
,
François Portet
(2, 3)
,
Fabien Ringeval
(3, 2)
,
Vincent Vandeghinste
(14)
,
Maximin Coavoux
(2, 3)
,
Marco Dinarelli
(12, 2, 3)
,
Didier Schwab
(12, 2, 3)
1
IRISA -
Institut de Recherche en Informatique et Systèmes Aléatoires
2 LIG - Laboratoire d'Informatique de Grenoble
3 GETALP - Groupe d’Étude en Traduction Automatique/Traitement Automatisé des Langues et de la Parole
4 Shesmet
5 LISN - Laboratoire Interdisciplinaire des Sciences du Numérique
6 LAMSADE - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision
7 UCL - Université Catholique de Louvain = Catholic University of Louvain
8 UNIGE - Université de Genève = University of Geneva
9 APTIKAL - Algorithms, Principles and TheorIes for collaborative Knowledge acquisition And Learning
10 MoDyCo - Modèles, Dynamiques, Corpus
11 MRIM - Modélisation et Recherche d’Information Multimédia [Grenoble]
12 UGA - Université Grenoble Alpes
13 LIRMM | TEXTE - Exploration et exploitation de données textuelles
14 KU Leuven - Catholic University of Leuven = Katholieke Universiteit Leuven
2 LIG - Laboratoire d'Informatique de Grenoble
3 GETALP - Groupe d’Étude en Traduction Automatique/Traitement Automatisé des Langues et de la Parole
4 Shesmet
5 LISN - Laboratoire Interdisciplinaire des Sciences du Numérique
6 LAMSADE - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision
7 UCL - Université Catholique de Louvain = Catholic University of Louvain
8 UNIGE - Université de Genève = University of Geneva
9 APTIKAL - Algorithms, Principles and TheorIes for collaborative Knowledge acquisition And Learning
10 MoDyCo - Modèles, Dynamiques, Corpus
11 MRIM - Modélisation et Recherche d’Information Multimédia [Grenoble]
12 UGA - Université Grenoble Alpes
13 LIRMM | TEXTE - Exploration et exploitation de données textuelles
14 KU Leuven - Catholic University of Leuven = Katholieke Universiteit Leuven
Aidan Mannion
- Fonction : Auteur
- PersonId : 749373
- IdHAL : aidan-mannion
Cécile Macaire
- Fonction : Auteur
- PersonId : 1120002
- IdHAL : cecile-macaire
- ORCID : 0000-0003-1407-8880
Adrien Pupier
- Fonction : Auteur
- PersonId : 1254663
- IdHAL : adrien-pupier
- ORCID : 0009-0007-9458-341X
Massih-Reza Amini
- Fonction : Auteur
- PersonId : 747054
- IdHAL : massih-reza-amini
- ORCID : 0000-0001-9032-4233
- IdRef : 132277042
Iris Eshkol-Taravela
- Fonction : Auteur
- PersonId : 18520
- IdHAL : iris-eshkol-taravella
- ORCID : 0000-0003-0814-3623
- IdRef : 074195158
Lorraine Goeuriot
- Fonction : Auteur
- PersonId : 169704
- IdHAL : lorraine-goeuriot
- ORCID : 0000-0001-7491-1980
- IdRef : 143794957
Mathieu Lafourcade
- Fonction : Auteur
- PersonId : 172381
- IdHAL : mathieu-lafourcade
- ORCID : 0000-0003-2832-2143
Benjamin Lecouteux
- Fonction : Auteur
- PersonId : 7847
- IdHAL : benjamin-lecouteux
- ORCID : 0000-0003-3000-6190
- IdRef : 135355060
François Portet
- Fonction : Auteur
- PersonId : 1069
- IdHAL : francois-portet
- ORCID : 0000-0003-2542-0661
- IdRef : 098179160
Fabien Ringeval
- Fonction : Auteur
- PersonId : 13134
- IdHAL : fabien-ringeval
- ORCID : 0000-0002-9213-4529
- IdRef : 154573078
Maximin Coavoux
- Fonction : Auteur
- PersonId : 13643
- IdHAL : maximin-coavoux
- ORCID : 0000-0003-4089-4558
Résumé
Les modèles de langue préentraînés (PLM) constituent aujourd’hui de facto l’épine dorsale de la plupart des systèmes de traitement automatique des langues. Dans cet article, nous présentons Jargon, une famille de PLMs pour des domaines spécialisés du français, en nous focalisant sur trois domaines : la parole transcrite, le domaine clinique / biomédical, et le domaine juridique. Nous utilisons une architecture de transformeur basée sur des méthodes computationnellement efficaces(LinFormer) puisque ces domaines impliquent souvent le traitement de longs documents. Nous évaluons et comparons nos modèles à des modèles de l’état de l’art sur un ensemble varié de tâches et de corpus d’évaluation, dont certains sont introduits dans notre article. Nous rassemblons les jeux de données dans un nouveau référentiel d’évaluation en langue française pour ces trois domaines. Nous comparons également diverses configurations d’entraînement : préentraînement prolongé en apprentissage autosupervisé sur les données spécialisées, préentraînement à partir de zéro, ainsi que préentraînement mono et multi-domaines. Nos expérimentations approfondies dans des domaines spécialisés montrent qu’il est possible d’atteindre des performances compétitives en aval, même lors d’un préentraînement avec le mécanisme d’attention approximatif de LinFormer. Pour une reproductibilité totale, nous publions les modèles et les données de préentraînement, ainsi que les corpus utilisés.