Recurrent neural network weight estimation through backward tuning - Inria - Institut national de recherche en sciences et technologies du numérique
Rapport (Rapport De Recherche) Année : 2017

Recurrent neural network weight estimation through backward tuning

Estimation des poids d’un réseau récurrent par ajustement rétroactif

Thierry Viéville
Xavier Hinaut
Thalita F Drumond
Frédéric Alexandre

Résumé

We consider another formulation of weight estimation in recurrent networks, proposing a notation for a large amount of recurrent network units that helps formulating the estimation problem. Reusing a “good old” control-theory principle, improved here using a backward-tuning numerical stabilization heuristic, we obtain a numerically stable and rather efficient second-order and distributed estimation, without any meta-parameter to adjust. The relation with existing technique is discussed at each step. The proposed method is validated using reverse engineering tasks.
Nous considérons une formulation alternative de l’estimation du poids dans les réseaux récurrents, proposant une notation integrant une grande quantité d’unités de réseau récurrentes qui aide à formuler ce problème d’estimation. Réutilisant un «bon vieux» principe de la théorie du contrôle, amélioré ici à l’aide d’une heuristique de stabilisation numérique rétroactive, nous obtenons une estimation distribuée du 2ème ordre, numériquement stable et plutôt efficace, sans aucun méta-paramètre à ajuster. La relation avec les techniques existantes est discutée à chaque étape. La méthode proposée est validée en utilisant des tâches d’ingénierie inverse.
Fichier principal
Vignette du fichier
RR-9100.pdf (1.31 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01610735 , version 1 (05-10-2017)

Identifiants

  • HAL Id : hal-01610735 , version 1

Citer

Thierry Viéville, Xavier Hinaut, Thalita F Drumond, Frédéric Alexandre. Recurrent neural network weight estimation through backward tuning. [Research Report] RR-9100, Inria Bordeaux Sud-Ouest. 2017, pp.1-54. ⟨hal-01610735⟩
322 Consultations
479 Téléchargements

Partager

More