Thermodynamics of Restricted Boltzmann Machines and Related Learning Dynamics
Résumé
We analyze the learning process of the restricted Boltzmann machine (RBM), a certain type of generative models used in the context of unsupervized learning. In a first step, we investigate its thermodynamics properties by considering a realistic statistical ensemble of RBM.
We adopt the viewpoint that the information content of the RBM is mainly reflected by the spectral properties of its weight matrix $W$, i.e. the couplings matrix. Schematically the bottom of the spectrum is occupied by a Marchenko-Pastur (MP) distribution of singular values representing noise, while actual information is contained in modes outside this bulk. A phase diagram is obtained which seems at first sight similar to the one of the Sherrington-Kirkpatrick (SK) with ferromagnetic couplings. The main difference resides in the structure of the ferromagnetic phase, which depending on the distribution of the singular vectors components, may or may not be of compositional type, i.e. combining or not dominant modes of $W$ for expressing magnetization.
In a second step the learning dynamics of an RBM given arbitrary data is studied in the thermodynamic limit. A ``typical'' learning trajectory is shown to solve an effective equation, which is obtained by making use of the aforementioned ensemble average and where the ferromagnetic order parameters enter explicitly. This accounts in particular for the dominant singular values evolution and how this is driven by the input data: in the linear regime at the beginning of the learning, they correspond to unstable deformation modes of $W$ reflecting dominant covariance modes of the data. In the non-linear regime is unveiled in some way how the selected modes interact in later stages of the learning procedure. Experiments on both artificial and real data illustrate these considerations, showing in particular how the RBM operates in the ferromagnetic compositional phase.
Nous analysons le processus d’apprentissage d’une machine de Boltzmann restreinte (RBM), soit un certain type de modèle génératif utilisé dans un contexte d’apprentissage non-supervisé. Dans un premier temps nous étudions ses propriétés thermodynamiques, en considérant un ensemble statistique de RBM réaliste. Nous adoptons le point de vue que le contenu
informationnel d’une RBM est reflété pas les propriétés spectrales de sa matrice de poids $W$ , c.a.d de sa matrice de couplages. Schématiquement, la base du spectre est occupée par une distribution de type Marchenko-Pastur (MP) des valeurs singulières, représentant le bruit, alors que l’information réelle se trouve dans des modes extérieurs à cette distribution. Nous obtenons un diagramme de phases à première vue similaire à celui du modèle de Sherrington-Kirkpatrick avec couplages ferromagnétiques. La différence principale réside dans la structure de la phase ferromagnétique qui, selon la distribution des composantes des vecteurs singuliers, peut s’avérer
être ou n’être pas de type compositionnel, c.a.d de composer les différents modes dominants pour
exprimer les magnétisations.
Dans un deuxième temps nous étudions la dynamique d’apprentissage d’une RBM sur des données arbitraires. Nous montrons qu’une trajectoire typique d’apprentissage résoud une équation effective dans laquelle les paramètres d’ordre de la limite thermodynamique entrent explicitement, par application de l’ensemble statistique mentionné précédemment. Cela rend compte en particulier de l’évolution des valeurs singulières dominantes et de comment tout ceci est piloté par les données d’entrée: dans le régime linéaire au début de l’apprentissage, les modes qui émergent correspondent aux déformations instables de $W$ et reflètent les composantes principales des données. Dans le régime non-linéaire est dévoilé en quelque sorte la façon dont ces modes instables interagissent dans les étapes ultérieures de l’apprentissage. Des expériences à la fois sur des données réelles et synthétiques viennent illustrer ces considérations, en montrant en particulier comment la RBM opère dans la phase ferromagnétique compositionnelle.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...