HoPSIR: Homogeneous Penalization of Sliced Inverse Regression
Résumé
In regression, purely parametric approaches require a model that is sometimes complex to set up. Conversely, non-parametric methods suffer when the dimension of the covariate increases as the data points are isolated from each other. Semi-parametric approaches have been proposed to combine the benefits of both approaches. The SIR method is one of them, the parametric part allowing a reduction of dimension. In high dimension, however, SIR is no longer applicable as it requires the inversion of the empirical covariance matrix. Different approaches have been proposed to overcome this technical limitation but none of them has integrated its solution via a statistical model, which is precisely what is proposed in this work. Through a particular class of functions, the homogeneous functions of positive degree, we introduce a family of prior distributions which allows to build a penalized version of SIR by maximizing the posterior distribution. This approach shows an excellent behaviour on simulations compared to current approaches.
En régression, les approches purement paramétriques nécessitent un modèle parfois complexe à mettre en place. Inversement, les méthodes non-paramétriques souffrent lorsque la dimension de la variable explicative augmente puisqu'alors les points de données sont isolés les uns des autres. Les approches semi-paramétriques ont été proposées afin d'allier les bénéfices des deux approches. La méthode SIR (Sliced Inverse Regression en anglais pour Régression Inverse par Tranches en français) est une d'entre elles, la partie paramétrique permettant une réduction de dimension. En grande dimension, SIR n'est cependant plus applicable car elle nécessite l'inversion de la matrice de covariance empirique. Différentes approches ont été proposées afin de pallier cette limitation technique mais aucune n'a intégré sa solution via un modèle statistique, ce que propose ce travail. Au travers d'une classe de fonctions particulières, les fonctions homogènes de degré positif, nous introduisons une famille de lois a priori qui permet de construire une version pénalisée de SIR par maximisation de la loi a posteriori. Cette approche montre un excellent comportement sur simulations par comparaisons aux approches actuelles.
Origine | Fichiers produits par l'(les) auteur(s) |
---|