Géométrie des vecteurs de tâches pour l'association et la combinaison de modèles - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2024

Géométrie des vecteurs de tâches pour l'association et la combinaison de modèles

Loic Fosse
  • Fonction : Auteur
  • PersonId : 1395831

Résumé

Les adaptations de rang faible (LoRa) sont devenues un standard pour adapter des modèles à un faible coût. Elles sont de plus en plus utilisées que ce soit en traitement du langage ou des images. Plusieurs études utilisent ces adaptations et cherchent à les combiner {\it a posteriori} de manière à enrichir de manière additive les propriétés d'un modèle. Ces combinaisons suggèrent alors que nous pouvons associer les modèles dans l'espace des paramètres et que nous pouvons donner un sens à cela. Cette propriété n'est que très peu vérifiée dans la pratique et nous proposons ici plusieurs métriques visant à caractériser l'association entre les modèles dans l'espace des paramètres. Nous montrons finalement que nous pouvons corréler ces métriques avec les pertes de performance des modèles lorsque nous réalisons leurs combinaisons.
Fichier principal
Vignette du fichier
5554.pdf (364.49 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04622988 , version 1 (26-06-2024)

Licence

Identifiants

  • HAL Id : hal-04622988 , version 1

Citer

Loic Fosse. Géométrie des vecteurs de tâches pour l'association et la combinaison de modèles. 35èmes Journées d'Études sur la Parole (JEP) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL), 2024, Toulouse, France. pp.69-84. ⟨hal-04622988⟩

Relations

46 Consultations
37 Téléchargements

Partager

More