Une étude statistique des plongements dans les modèles transformers pour le français - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Conference Papers Year : 2022

Une étude statistique des plongements dans les modèles transformers pour le français

Abstract

Nous étudions les propriétés statistiques des plongements dans les modèles transformers pour le français. Nous nous appuyons sur une analyse de la variance, des similarités cosinus intra-phrase et du rang effectif des plongements aux différents niveaux d’un transformer, pour des modèles pré-entraînés et des modèles adaptés à la classification de textes. Nous montrons que les modèles FlauBERT et CamemBERT pré-entraînés ont des comportements très différents même si les deux ont une tendance à générer des représentations anisotropiques, c’est-à-dire se concentrant dans un cône au sein de l’espace des plongements, comme observé pour l’anglais. L’adaptation à la classification de textes modifie le comportement des modèles, notamment dans les dernières couches, et procure une tendance forte à l’alignement des plongements, réduisant également la dimension effective de l’espace au final. Nous mettons également en évidence un lien entre convergence des plongements au sein d’une phrase et classification de texte, lien dont la nature reste difficile à appréhender.
Fichier principal
Vignette du fichier
8643.pdf (316.17 Ko) Télécharger le fichier
Origin : Publisher files allowed on an open archive

Dates and versions

hal-03701513 , version 1 (24-06-2022)

Identifiers

  • HAL Id : hal-03701513 , version 1

Cite

Loïc Fosse, Duc-Hau Nguyen, Pascale Sébillot, Guillaume Gravier. Une étude statistique des plongements dans les modèles transformers pour le français. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.247-256. ⟨hal-03701513⟩
74 View
48 Download

Share

Gmail Facebook Twitter LinkedIn More