Empirical Risk Minimization with Relative Entropy Regularization Type-II - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2023

Empirical Risk Minimization with Relative Entropy Regularization Type-II

Minimisation du Risque Empirique avec Régularisation par Entropie Relative de Type-II

Abstract

The effect of the relative entropy asymmetry is analyzed in the empirical risk minimization with relative entropy regularization (ERM-RER) problem. A novel regularization is introduced, coined Type-II regularization, that allows for solutions to the ERM-RER problem with a support that extends outside the support of the reference measure. The solution to the new ERM- RER Type-II problem is analytically characterized in terms of the Radon-Nikodym derivative of the reference measure with respect to the solution. The analysis of the solution unveils the following properties of relative entropy when it acts as a regularizer in the ERM-RER problem: (a) relative entropy forces the support of the Type-II solution to collapse into the support of the reference measure, which introduces a strong inductive bias that dominates the evidence provided by the training data; (b) Type-II regularization is equivalent to classical relative entropy regularization with an appropriate transformation of the empirical risk function. Closed-form expressions of the expected empirical risk as a function of the regularization parameters are provided.
L’effet de l’asymétrie de l’entropie relative est analysé dans le problème de la minimisation du risque empirique avec régularisation par entropie relative (MRE-RER). Une nouvelle régularisation est introduite, appelée régularisation de type-II, qui permet la recherche des solutions au problème de la MRE-RER avec un support qui s’étend en dehors du support de la mesure de référence. La solution au nouveau problème de la MRE-RER Type-II est caractérisée analytiquement en termes de la dérivée de Radon-Nikodym de la mesure de référence par rapport à la solution. L’analyse de la solution dévoile certaines propriétés de l’entropie relative lorsqu’elle agit comme régularisateur du problème de la MRE-RER : (a) l’entropie relative force le support de la solution de type-II à s’étaler sur tout le support de la mesure de référence, ce qui introduit un fort biais inductif qui domine l’évidence fournie par les données d’entraînement ; (b) La régularisation de type-II est équivalente à la régularisation d’entropie relative classique avec une transformation appropriée de la fonction du risque empirique. Enfin, une expression sous forme explicite de la valeur espérée du risque empirique en fonction des paramètres de régularisation est présentée.
Fichier principal
Vignette du fichier
V2-RR9508.pdf (981.66 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04110899 , version 1 (31-05-2023)
hal-04110899 , version 2 (18-02-2024)

Identifiers

  • HAL Id : hal-04110899 , version 2

Cite

Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor. Empirical Risk Minimization with Relative Entropy Regularization Type-II. RR-9508, INRIA, Centre Inria d'Université Côte d'Azur, Sophia Antipolis. 2023. ⟨hal-04110899v2⟩

Relations

137 View
134 Download

Share

Gmail Facebook X LinkedIn More