Learning deep kernel networks : application to efficient and robust structured prediction
Apprentissage de réseaux profonds à noyaux pour la prédiction structurée efficace et robuste
Résumé
The task of predicting structured objects, e.g. graphs or sequences, is more demanding than the standard supervised regression or classification problems, where the outputs are usually low-dimensional vectors. It has recently attracted a lot of attention in various fields, such as computational biology and chemistry. Such structured spaces are usually high-dimensional, discrete, large, and lack of linear structure, which makes it difficult to design a versatile model, i.e. a model able to deal with various output types within a unified framework, together with strong theoretical foundations.In this thesis, we focus on surrogate kernel methods, and in particular Input Output Kernel Regression, a versatile and theoretically-funded structured prediction approach leveraging the kernel trick in both the input and output spaces. However, in practice, this method exhibits some flaws. As with other kernel-based methods, IOKR suffers from computational burdens at both the training and inference phases. Moreover, it benefits from a closed-form solution when combined with the squared loss, and it is challenging to employ a wider variety of losses. Finally, it is not efficient in handling complex inputs such as images or texts. Our goal is then to design an OKR model that is: scalable to large datasets, theoretically sound (i.e. for which excess risk bounds can be derived), compatible with a wider variety of losses, and able to learn representations from complex inputs.In the first part of this thesis, we focus on the input kernel, and introduce a new sub-Gaussian sketching distribution, called the p-sparsified sketches, in order to scale-up matrix-valued decomposable kernel machines with generic Lipschitz-continuous losses. Sketching consists in manipulating random linear projections to reduce computational complexity while maintaining good statistical performance. We additionally provide an excess risk bound of the estimator induced by this approach.In the second part, we introduce Sketched Input Sketched Output Kernel Regression, an IOKR-based method that leverages sketching on both the input and output kernels to induce a reduced-rank structured estimator. We derive its excess risk bound with sub-Gaussian or sub-sampling input/output sketches and show that it attains close-to-optimal learning rates. Besides, we demonstrate the strong empirical performance of SISOKR on datasets on which IOKR is intractable.In the last part, we apply sketching on the output kernel and introduce a deep neural architecture able to predict within the possibly infinite-dimensional output kernel's feature space. Indeed, we compute the basis induced by the eigenfunctions of the sketched output empirical covariance operator, and Deep Sketched Output Kernel Regression's neural network then computes an expansion within this basis and learns its coordinates during training. This unlocks the use of gradient-based methods for any loss which is the composition of the square loss with a sub-differentiable function, such as standard robust losses, and any neural architectures, such as transformers. Empirical validations of the approach are provided, in particular on a text-to-molecule dataset.
La prédiction d'objets structurés, tels que les graphes ou les séquences par exemple, est plus exigeante que les problèmes standards de régressions ou de classification supervisés, dans lesquels les sorties sont généralement des vecteurs de petite dimension. Cette tâche fait l'objet de beaucoup d'attention dans différents domaines, comme la biologie ou la chimie informatique. Les espaces structurés sont en général de grande dimension, discrets, et non-linéaires, ce qui complique la conceptualisation d'un modèle polyvalent, autrement dit un modèle capable de gérer différents types de sorties dans un cadre unifié, tout en bénéficiant de solides fondations théoriques.Dans cette thèse, nous nous concentrons sur les méthodes à noyaux de substitution, et en particulier à la méthode Input Output Kernel Regression (IOKR), une approche de prédiction structurée polyvalente et théoriquement fondée utilisant l'astuce du noyau sur les espaces d'entrée et de sortie. Toutefois, cette méthode présente plusieurs limites: elle souffre de lourds coûts de calcul pendant les phases d'apprentissage et de prédiction, d'une difficulté à utiliser d'autres fonctions de perte que la quadratique (qui lui permet de bénéficier d'une solution explicite), et l'incapacité des noyaux à apprendre des représentations à partir de données d'entrée complexes comme des images ou du texte. Notre objectif est donc de concevoir un modèle utilisant un noyau de sortie passant à l'échelle de grandes bases de données, avec une borne sur son excès de risque, compatible avec une plus grande variété de fonctions de perte et capable d'apprendre des représentations à partir de données d'entrée complexes.Dans un premier temps, nous travaillons sur le noyau d'entrée, et introduisons une nouvelle distribution de projections aléatoires sous-gaussienne, les p-sparsified sketches, afin de passer à l'échelle les machines à noyau matriciel décomposables utilisant des fonctions de perte lipschitziennes. Ces projections aléatoires sont linéaires et permettent de réduire la complexité calculatoire tout en maintenant de bonnes performances statistiques. De plus, nous fournissons une borne d'excès de risque de l'estimateur induit par cette approche.Dans un second temps, nous introduisons Sketched Input Sketched Output Kernel Regression (SISOKR), une méthode basée sur IOKR et tirant profit des projections aléatoires sur les noyaux d'entrée et de sortie pour obtenir un estimateur structuré de rang faible. Nous prouvons une borne d'excès de risque de cet estimateur utilisant des projections aléatoires entrée/sortie sous-gaussiennes ou de sous-échantillonnage et montrons qu'il atteint une vitesse d'apprentissage proche de l'optimal. En outre, nous démontrons de solides performances empiriques de SISOKR sur des ensembles de données où les calculs requis par IOKR excèdent les capacités de la plupart des ordinateurs.Enfin, nous proposons une architecture neuronale profonde capable de prédire dans l'espace caractéristique potentiellement de dimension infinie du noyau de sortie grâce à l'utilisation de projections aléatoires sur ce dernier. À cette fin, nous calculons la base formée par les fonctions propres de l'opérateur de covariance empirique de sortie projeté aléatoirement, et le réseau de neurones de Deep Sketched Output Kernel Regression (DSOKR) calcule par la suite une combinaison linéaire au sein de cette base et apprend ses coordonnées pendant l'entraînement. Ceci permet l'utilisation de méthodes d'optimisation à base de gradient pour n'importe quelle fonction de perte consistant en une composition de la perte quadratique et d'une fonction sous-différentiable, comme les fonctions de perte robustes standards par exemple. Ceci est également compatible avec toute sorte d'architecture neuronale, comme les transformeurs, ainsi que le confirment les expériences menées sur un problème de prédiction de molécules dont les données d'entrée sont des descriptions textuelles de ces dernières.
| Origine | Version validée par le jury (STAR) |
|---|