Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2024

Automatically Assessing Gender Biases in Autoregressive Language Models.

Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs

Résumé

We propose a framework to automatically measure gender biases in generated texts, for inflected languages. We evaluate seven language models, on over 52,000 texts in French and 2,500 texts in Italian, for cover letter writing. Our tool relies on the detection of morpho-syntactic gender markers to uncover biases. Thus, models are strongly biased towards the generation of masculine markers: generated texts contain twice as many masculine (vs. feminine) markers in French, and eight times as many in Italian. The models we study also exacerbate gender stereotypes that are evidenced in social science studies and associate feminine inflections with stereotypically feminine occupations, whereas stereotypically masculine occupations are strongly associated with masculine markers.
Nous proposons un outil pour mesurer automatiquement les biais de genre dans des textes générés par des grands modèles de langue dans des langues flexionnelles. Nous évaluons sept modèles à l’aide de 52 000 textes en français et 2 500 textes en italien, pour la rédaction de lettres de motivation. Notre outil s’appuie sur la détection de marqueurs morpho-syntaxiques de genre pour mettre au jour des biais. Ainsi, les modèles favorisent largement la génération de masculin : le genre masculin est deux fois plus présent que le féminin en français, et huit fois plus en italien. Les modèles étudiés exacerbent des stéréotypes attestés en sociologie en associant les professions stéréotypiquement féminines aux textes au féminin, et les professions stéréotypiquement masculines aux textes au masculin.
Fichier principal
Vignette du fichier
JEP_TALN_RECITAL_2024_BiaisLettres-1.pdf (526.92 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04621134 , version 1 (23-06-2024)

Licence

Identifiants

  • HAL Id : hal-04621134 , version 1

Citer

Fanny Ducel, Aurélie Névéol, Karën Fort. Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs. TALN 2024, Jul 2024, Toulouse, France. ⟨hal-04621134⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More