Imposing Gaussian Pre-Activations in a Neural Network - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Conference Papers Year : 2022

Imposing Gaussian Pre-Activations in a Neural Network

Comment imposer des pré-activations gaussiennes dans un réseau de neurones ?

Abstract

The goal of the present work is to propose a way to modify both the initialization distribution of the weights of a neural network and its activation function, such that all pre-activations are Gaussian. We propose a family of pairs initialization/activation, where the activation functions span a continuum from bounded functions (such as Heaviside or tanh) to the identity function. This work is motivated by the contradiction between existing works dealing with Gaussian pre-activations: on one side, the works in the line of the Neural Tangent Kernels and the Edge of Chaos are assuming it, while on the other side, theoretical and experimental results challenge this hypothesis. The family of pairs initialization/activation we are proposing will help us to answer this hot question: is it desirable to have Gaussian pre-activations in a neural network?
Le but de ce travail est de proposer un moyen de modifier la loi d'initialisation des poids d'un réseau de neurones ainsi que sa fonction d'activation, de façon à assurer que toutes les pré-activations soient gaussiennes. Nous proposons une famille de couples initialisation/activation, où les fonctions d'activation couvrent un continuum allant des fonctions bornées de type Heaviside ou tanh, jusqu'à la fonction identité. Ce travail est motivé par la contradiction entre des travaux existants quant au caractère gaussien des pré-activations : d'un côté, les travaux dans la lignée des Neural Tangent Kernels et de l'Edge of Chaos en font abondamment usage ; de l'autre, des résultats théoriques et expérimentaux mettent à mal cette hypothèse. La famille de couples initialisation/activation que nous proposons permettra d'avancer sur la question qui traverse des travaux actuels : est-il souhaitable d'avoir des pré-activations gaussiennes dans un réseau de neurones ?
Fichier principal
Vignette du fichier
ImposeGaussianPreactivations_ArXiV (1).pdf (412.01 Ko) Télécharger le fichier

Dates and versions

hal-03853790 , version 1 (15-11-2022)

Identifiers

  • HAL Id : hal-03853790 , version 1

Cite

Pierre Wolinski, Julyan Arbel. Imposing Gaussian Pre-Activations in a Neural Network. JDS 2022 - 53es Journées de Statistique de la Société Française de Statistiques (SFdS), Jun 2022, Lyon, France. ⟨hal-03853790⟩
18 View
21 Download

Share

Gmail Facebook X LinkedIn More