An Exact Characterization of the Generalization Error of Machine Learning Algorithms
Une caractérisation exacte de l'erreur de généralisation pour des algorithmes d'apprentissage automatique
Résumé
The worst-case data-generating (WCDG) probability measure is introduced as a tool for characterizing the generalization capabilities of machine learning algorithms. Such a WCDG probability measure is shown to be the unique solution to two different optimization problems: $(a)$ The maximization of the expected loss over the set of probability measures on the datasets whose relative entropy with respect to a \emph{reference measure} is not larger than a given threshold; and $(b)$ The maximization of the expected loss with regularization by relative entropy with respect to the reference measure. Such a reference measure can be interpreted as a prior on the datasets. The WCDG cumulants are finite and bounded in terms of the cumulants of the reference measure. To analyze the concentration of the expected empirical risk induced by the WCDG probability measure, the notion of $(\epsilon, \delta)$-robustness of models is introduced. Closed-form expressions are presented for the sensitivity of the expected loss for a fixed model. These results lead to a novel expression for the generalization error of arbitrary machine learning algorithms. This exact expression is provided in terms of the WCDG probability measure and leads to an upper bound that is equal to the sum of the mutual information and the lautum information between the models and the datasets, up to a constant factor. This upper bound is achieved by a Gibbs algorithm. This finding reveals that an exploration into the generalization error of the Gibbs algorithm facilitates the derivation of overarching insights applicable to any machine learning algorithm.
La mesure de probabilité de génération de données dans le pire des cas (GDPC) est présentée comme un outil permettant de caractériser les capacités de généralisation des algorithme d’apprentissage automatique. Une telle mesure de probabilité de GDPC s’avère être la solution unique à deux problèmes d’optimisation différents : (a) La maximisation de la perte (ou risque) espérée sur l’ensemble des mesures de probabilité des données dont l’entropie relative par rapport à une mesure de référence n’est pas supérieure à un seuil donné ;
et (b) La maximisation de la perte espérée avec une régularisation par entropie relative par rapport à la mesure de référence. Une telle mesure de référence peut être interprétée comme un a priori sur les données. Les cumulants de la perte espérée lorsque les données sont obtenues en échantillonnant la mesure de GDPC s’avèrent majorés et minorés en termes des cumulants de la mesure de référence. Des expressions sous forme fermée sont présentées pour la sensibilité de la perte espérée pour un modèle fixe. Ces outils aboutissent à la caractérisation d’une nouvelle expression de l’erreur de généralisation pour les algorithmes d’apprentissage automatique. Cette expression exacte est en fonction de la mesure de probabilité de GDPC et conduit à une borne supérieure égale à la somme de l’information mutuelle et l’information lautum entre les modèles et les données, à un facteur près. Cette limite supérieure est obtenue par un algorithme de Gibbs. Cette découverte révèle qu’une exploration de l’erreur de généralisation de l’algorithme de Gibbs facilite la dérivation de conclusions globales applicables à tout algorithme d’apprentissage automatique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
