Communication Dans Un Congrès Année : 2025

Adaptation des connaissances médicales pour les grands modèles de langue : Stratégies et analyse comparative

Résumé

Cet article présente une étude sur l'adaptation des grands modèles de langue (LLMs) à des domaines spécialisés disposant de données limitées. Bien que certaines recherches remettent en question le pré-entraînement adaptatif (DAPT) dans le contexte médical en anglais, nous montrons que l'adaptation au domaine peut être efficace sous certaines conditions. En prenant comme exemple l'adaptation au domaine médical en français, nous comparons de manière systématique le pré-entraînement continu (CPT), l'affinage supervisé (SFT) et une approche combinée (CPT suivi de SFT). Nos résultats indiquent que l'adaptation d'un modèle généraliste à de nouvelles données dans le domaine médical offre des améliorations notables (taux de réussite de 87%), tandis que l'adaptation supplémentaire de modèles déjà familiarisés avec ce domaine procure des bénéfices limités. Bien que CPT+SFT offre les meilleures performances globales, SFT-seul présente des résultats solides et requiert moins de ressources matérielles.

Fichier principal
Vignette du fichier
42.pdf (282.74 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte
Licence

Dates et versions

hal-05330629 , version 1 (26-10-2025)

Licence

Identifiants

  • HAL Id : hal-05330629 , version 1

Citer

Ikram Belmadani, Benoit Favre, Richard Dufour, Frédéric Bechet, Carlos Ramisch. Adaptation des connaissances médicales pour les grands modèles de langue : Stratégies et analyse comparative. 20e Conférence en Recherche d’Information et Applications (CORIA) 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN) 27ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL) Les 18e Rencontres Jeunes Chercheurs en RI (RJCRI), 2025, Marseille, France. pp.50-72. ⟨hal-05330629⟩
338 Consultations
136 Téléchargements

Partager

  • More