Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024 - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2024

Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024

Résumé

L'édition 2024 du DÉfi Fouille de Textes (DEFT) met l'accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d'examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s'ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l'Exact Match Ratio (EMR), varient de 1,68% à 11,74%, tandis que les performances selon le score de Hamming vont de 28,75% à 49,15% pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d'adaptation LoRA sur les données de l'année précédente.
Fichier non déposé

Dates et versions

hal-04635890 , version 1 (04-07-2024)

Licence

Identifiants

  • HAL Id : hal-04635890 , version 1

Citer

Adrien Bazoge, Labrak Yanis, Richard Dufour, Benoît Favre, Mickaël Rouvier. Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.1-10. ⟨hal-04635890⟩
67 Consultations
0 Téléchargements

Partager

More