An Exact Characterization of the Generalization Error of Machine Learning Algorithms
Une caractérisation exacte de l'erreur de généralisation pour des algorithmes d'apprentissage automatique
Résumé
The worst-case data-generating (WCDG) probability measure is introduced as a tool for characterizing the generalization capabilities of machine learning algorithms. Such a WCDG probability measure is shown to be the unique solution to two different optimization problems: $(a)$ The maximization of the expected loss over the set of probability measures on the datasets whose relative entropy with respect to a \emph{reference measure} is not larger than a given threshold; and $(b)$ The maximization of the expected loss with regularization by relative entropy with respect to the reference measure. Such a reference measure can be interpreted as a prior on the datasets. The WCDG cumulants are finite and bounded in terms of the cumulants of the reference measure. To analyze the concentration of the expected empirical risk induced by the WCDG probability measure, the notion of $(\epsilon, \delta)$-robustness of models is introduced. Closed-form expressions are presented for the sensitivity of the expected loss for a fixed model. These results lead to a novel expressions for the generalization error of arbitrary machine learning algorithms. These expressions can be broadly divided into two classes. The first one involves a WCDG probability measure, while the second one involves a Gibbs algorithm. This finding reveals that an exploration into the generalization error of the Gibbs algorithm facilitates the derivation of overarching insights applicable to any machine learning algorithm.
La mesure de probabilité de génération de données dans le pire des cas (GDPC) est présentée comme un outil permettant de caractériser les capacités de généralisation des algorithmes d'apprentissage automatique. Une telle mesure de probabilité de GDPC s'avère être la solution unique à deux problèmes d'optimisation différents : $(a)$ La maximisation de la perte (ou risque) espérée sur l'ensemble des mesures de probabilité des données dont l'entropie relative par rapport à une \emph{mesure de référence} n'est pas supérieure à un seuil donné ; et $(b)$ La maximisation de la perte espérée avec une régularisation par entropie relative par rapport à la mesure de référence. Une telle mesure de référence peut être interprétée comme un à priori sur les données. Les cumulants de la perte espérée lorsque les données sont obtenues en échantillonnant la mesure de GDPC s’avèrent majorés et minorés en termes des cumulants de la mesure de référence. Des expressions sous forme fermée sont présentées pour la sensibilité de la perte espérée pour un modèle fixe. Ces outils aboutissent à la caractérisation des nouvelles expressions pour l'erreur de généralisation applicables à n'importe quel algorithme d'apprentissage automatique. Ces expressions peuvent être globalement divisées en deux classes. La première implique une mesure de probabilité GDPC, tandis que la seconde implique un algorithme de Gibbs. Cette découverte révèle qu'une exploration de l'erreur de généralisation de l'algorithme de Gibbs facilite la dérivation de conclusions globales applicables à tout algorithme d'apprentissage automatique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
