Reconnaissance d’entités cliniques en few-shot en trois langues
Abstract
Large language models have become the preferred solution for many natural language processing tasks, including specialized domains where their few-shot capabilities should deliver high performance in low-resource environments. However, our evaluation of 10 auto-regressive models and 16 masked models shows that while prompt-based auto-regressive models can compete in named entity recognition (NER) outside the clinical domain, they are outperformed within the clinical domain by lighter biLSTM-CRF taggers based on masked models. Additionally, masked models have a much lower environmental impact than auto-regressive models. These consistent results across the three languages studied suggest that few-shot learning models are not yet suited for NER production in the clinical domain but could be used to expedite the creation of quality annotated data
Les grands modèles de langage deviennent la solution de choix pour de nombreuses tâches de traitement du langage naturel, y compris dans des domaines spécialisés où leurs capacités few-shot devraient permettre d’obtenir des performances élevées dans des environnements à faibles ressources. Cependant, notre évaluation de 10 modèles auto-régressifs et 16 modèles masqués montre que, bien que les modèles auto-régressifs utilisant des prompts puissent rivaliser en termes de reconnaissance d’entités nommées (REN) en dehors du domaine clinique, ils sont dépassés dans le domaine clinique par des taggers biLSTM-CRF plus légers reposant sur des modèles masqués. De plus, les modèles masqués ont un bien moindre impact environnemental que les modèles auto-régressifs. Ces résultats, cohérents dans les trois langues étudiées, suggèrent que les modèles à apprentissage few-shot ne sont pas encore adaptés à la production de REN dans le domaine clinique, mais pourraient être utilisés pour accélérer la création de données annotées de qualité.
| Origin | Publisher files allowed on an open archive |
|---|
