Recurrent neural network weight estimation through backward tuning
Estimation des poids d’un réseau récurrent par ajustement rétroactif
Résumé
We consider another formulation of weight estimation in recurrent networks,
proposing a notation for a large amount of recurrent network units that helps
formulating the estimation problem. Reusing a “good old” control-theory principle,
improved here using a backward-tuning numerical stabilization heuristic, we obtain
a numerically stable and rather efficient second-order and distributed estimation,
without any meta-parameter to adjust. The relation with existing technique is discussed
at each step. The proposed method is validated using reverse engineering
tasks.
Nous considérons une formulation alternative de l’estimation du poids
dans les réseaux récurrents, proposant une notation integrant une grande quantité
d’unités de réseau récurrentes qui aide à formuler ce problème d’estimation.
Réutilisant un «bon vieux» principe de la théorie du contrôle, amélioré ici à l’aide
d’une heuristique de stabilisation numérique rétroactive, nous obtenons une estimation
distribuée du 2ème ordre, numériquement stable et plutôt efficace, sans
aucun méta-paramètre à ajuster. La relation avec les techniques existantes est
discutée à chaque étape. La méthode proposée est validée en utilisant des tâches
d’ingénierie inverse.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...