CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Conference Papers Year : 2023

CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé

Abstract

Les données cliniques dans les hôpitaux sont de plus en plus accessibles pour la recherche à travers les entrepôts de données de santé, cependant ces documents sont non-structurés. Il est donc nécessaire d'extraire les informations des comptes-rendus médicaux. L'utilisation du transfert d'apprentissage grâce à des modèles de type BERT comme CamemBERT ont permis des avancées majeures, notamment pour la reconnaissance d'entités nommées. Cependant, ces modèles sont entraînés pour le langage courant et sont moins performants sur des données biomédicales. C'est pourquoi nous proposons un nouveau jeu de données biomédical public français sur lequel nous avons poursuivi le pré-entraînement de CamemBERT. Ainsi, nous présentons une première version de CamemBERT-bio, un modèle public spécialisé pour le domaine biomédical français qui montre un gain de 2,54 points de F-mesure en moyenne sur différents jeux d'évaluations de reconnaissance d'entités nommées biomédicales.
Fichier principal
Vignette du fichier
461902.pdf (209.35 Ko) Télécharger le fichier
Licence : CC BY - Attribution

Dates and versions

hal-04130187 , version 1 (29-06-2023)

Licence

Attribution

Identifiers

  • HAL Id : hal-04130187 , version 1

Cite

Rian Touchent, Laurent Romary, Eric De La Clergerie. CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé. Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs, Jun 2023, Paris, France. pp.323-334. ⟨hal-04130187⟩
617 View
365 Download

Share

Gmail Facebook X LinkedIn More