Multi-task statistical learning
Apprentissage statistique multi-tâches
Abstract
This thesis aims at constructing, calibrating and studying multi-task estimators, in a frequentist non-parametric and non-asymptotic framework. We consider here kernel ridge regression and extend the existing multi-task regression methods in this setting. The main question is the calibration of a matricial regularization parameter, which encodes the similarity between the tasks. We propose a method to calibrate this parameter, based on the estimation of the covariance matrix of the noise between tasks. We then show optimality guarantees for the estimator thus obtained, via an oracle inequality. We also check its behaviour on simulated examples. We carefully bound the risks of both multi-task and single-task oracle estimators in some specific settings. This allows us to discern several interesting situations, whether the multi-task oracle outperforms the single-task one or not. This ensure the oracle inequality enforces the multi-task oracle to have a lower risk than the single-task one in the studied settings. Finally, we check the behaviour of the oracles on simulated examples.
Cette thèse a pour objet la construction, la calibration et l'étude d'estimateurs multi-tâches, dans un cadre fréquentiste non paramétrique et non asymptotique. Nous nous plaçons dans le cadre de la régression ridge à noyau et y étendons les méthodes existantes de régression multi-tâches. La question clef est la calibration d'un paramètre de régularisation matriciel, qui encode la similarité entre les tâches. Nous proposons une méthode de calibration de ce paramètre, fondée sur l'estimation de la matrice de covariance du bruit entre les tâches. Nous donnons ensuite pour l'estimateur obtenu des garanties d'optimalité, via une inégalité oracle, puis vérifions son comportement sur des exemples simulés. Nous obtenons par ailleurs un encadrement précis des risques des estimateurs oracles multi-tâches et mono-tâche dans certains cas. Cela nous permet de dégager plusieurs situations intéressantes, où l'oracle multi-tâches est plus efficace que l'oracle mono-tâche, ou vice versa. Cela nous permet aussi de nous assurer que l'inégalité oracle force l'estimateur multi-tâches à avoir un risque inférieur à l'estimateur mono-tâche dans les cas étudiés. Le comportement des oracles multi-tâches et mono-tâche est vérifié sur des exemples simulés.
Fichier principal
these.pdf (1.39 Mo)
Télécharger le fichier
presentation_these.pdf (1.59 Mo)
Télécharger le fichier
Format | Other |
---|