Conditional Density Estimation by Penalized Likelihood Model Selection and Applications
Abstract
In this paper, we consider conditional density estimation, and propose a general condition on the penalty of a penalized maximum likelihood estimate to obtain oracle type inequality with Kullback-Leibler type loss. Our aim is threefold: to extend a model selection theorem obtained by Massart for density estimation, to illustrate this theorem with families of "piecewise constant" conditional density estimator, and to provide some theoretical justification for a companion paper on unsupervised segmentation based on spatially varying Gaussian mixture estimation.
Dans cet article, nous étudions un problème d'estimation de densité conditionnelle et proposons une condition générale sur la pénalité d'un estimateur par maximum de vraisemblance pénalisé permettant d'obtenir des inégalités de type oracle pour une perte de type Kullback-Leibler. Notre but est tripe: étendre un théorème de sélection de modèles obtenu par Massart pour l'estimation de densité, illustrer ce théorème avec des familles d'estimateur de densité conditionelles "constants par morceaux" et établir des justifications théoriques pour un article "compagnon" traitant de segmentation non supervisé à base de mélange de gaussienne spatialisé.
| Origin | Files produced by the author(s) |
|---|