Apprentissage de dictionnaire pour les représentations parcimonieuses
Résumé
A popular approach within the signal processing and machine learning communities consists in modelling high-dimensional data as sparse linear combinations of atoms selected from a dictionary. Given the importance of the choice of the dictionary for the operational deployment of these tools, a growing interest for \emph{learned} dictionaries has emerged. The most popular dictionary learning techniques, which are expressed as large-scale matrix factorization through the optimization of a non convex cost function, have been widely disseminated thanks to extensive empirical evidence of their success and steady algorithmic progress. Yet, until recently they remained essentially heuristic. We will present recent work on statistical aspects of sparse dictionary learning, contributing to the characterization of the excess risk as a function of the number of training samples. The results cover non only sparse dictionary learning but also a much larger class of constrained matrix factorization problems.
La modélisation de données de grande dimension comme combinaisons linéaires parcimonieuses d'atomes d'un dictionnaire est devenu un outil très populaire en traitement du signal et de l'image. Etant donné l'importance du choix du dictionnaire pour le déploiement opérationnel de ces outils, des approches basées sur l'apprentissage à partir d'une collection ont connu un bel essor. Les techniques les plus populaires abordent le problème sous l'angle de la factorisation de grandes matrices via la minimisation d'une fonction de coût non-convexe. Si des progrès importants en terme d'efficacité algorithmique ont favorisé leur diffusion, ces approches restaient jusqu'à récemment essentiellement empiriques. Nous présenterons des travaux récents abordant les aspects statistiques de ces techniques et contribuant à caractériser l'excès de risque en fonction du nombre d'exemples disponibles. Les résultats couvrent non seulement l'apprentissage de dictionnaire pour les représentations parcimonieuses, mais également une classe sensiblement plus large de factorisations de matrices sous contraintes.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...