Rapport (Rapport De Recherche) Année : 2025

A Dual Optimization View to Empirical Risk Minimisation with f-Divergence Regularization

Une Approche d’Optimisation Duale de la Minimisation du Risque Empirique avec Régularisation par f-Divergence

Résumé

The dual formulation of empirical risk minimization with f-divergence regularization (ERM-f DR) is introduced. The solution of the dual optimization problem to the ERM-f DR is connected to the notion of normalization function introduced as an implicit function. This dual approach leverages the Legendre-Fenchel transform and the implicit function theorem to provide a nonlinear ODE expression to the normalization function. Furthermore, the nonlinear ODE expression and its properties provide a computationally efficient method to calculate the normalization function of the ERM-f DR solution under a mild condition.

Fichier principal
Vignette du fichier
HAL-V1-RR9594.pdf (902.48 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05200897 , version 1 (19-08-2025)

Licence

Identifiants

  • HAL Id : hal-05200897 , version 1

Citer

Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza. A Dual Optimization View to Empirical Risk Minimisation with f-Divergence Regularization. RR-9594, Inria. 2025. ⟨hal-05200897⟩
699 Consultations
352 Téléchargements

Partager

  • More