Empirical Risk Minimization with f-Divergence Regularization in Statistical Learning - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports Year : 2023

Empirical Risk Minimization with f-Divergence Regularization in Statistical Learning

Minimisation du Risque Empirique avec Régularisation par f-Divergences dans l’Apprentissage Statistique

Abstract

This report presents the solution to the empirical risk minimization with $f$-divergence regularization, under mild conditions on $f$. Under such conditions, the optimal measure is shown to be unique and to always exist. The solution is presented as a closed-form expression of the Radon-Nikodym derivative of the optimal probability measure with respect to the reference measure. Examples for particular choices of the function $f$ are presented. For some choices, existing results are obtained as special cases of the main result. These include the unique solutions to the empirical risk minimization with relative entropy regularization (Type-I and Type-II).
Ce rapport présente la solution au problème de minimisation du risque empirique avec régularisation par une $f$-divergence dans des faibles contraintes sur $f$. Dans ces conditions, la mesure optimale s’avère unique et existe toujours. La solution est présentée comme une expression sous forme fermée de la dérivée de Radon-Nikodym de la mesure de probabilité optimale par rapport à la mesure de référence. Des exemples de choix particuliers de la fonction $f$ sont présentés. Pour certains choix, des résultats existants sont obtenus comme cas particuliers du résultat principal. Il s'agit notamment des solutions uniques aux problèmes de minimisation du risque empirique avec régularisation par entropie relative (Type-I et Type-II).
Fichier principal
Vignette du fichier
HAL-V3-RR9521.pdf (846.88 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04258765 , version 1 (25-10-2023)
hal-04258765 , version 2 (02-11-2023)
hal-04258765 , version 3 (07-02-2024)

Licence

Attribution

Identifiers

  • HAL Id : hal-04258765 , version 3

Cite

Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor. Empirical Risk Minimization with f-Divergence Regularization in Statistical Learning. RR-9521, Inria. 2023. ⟨hal-04258765v3⟩
162 View
97 Download

Share

Gmail Facebook X LinkedIn More