Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024) - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2024

Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024)

Résumé

Cet article décrit la participation de l'équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, Nachos_LLM, TTGV_byfusion, et TTGV\ₒllama\ₘultilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d'amélioration incluent l'ajustement des modèles de langage et des critères de classification.
Fichier non déposé

Dates et versions

hal-04635894 , version 1 (04-07-2024)

Identifiants

  • HAL Id : hal-04635894 , version 1

Citer

Tom Rousseau, Marceau Hernandez, Iglika Stoupak, Angelo Mendoca-Manhoso, Andréa Blivet, et al.. Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024). 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.47-57. ⟨hal-04635894⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More