Normalisation Contextuelle : Une Nouvelle Approche pour la Stabilité et l'Amélioration des Performances des Réseaux de Neurones - Données et algorithmes pour une ville intelligente et durable Access content directly
Journal Articles (Review Article) RNTI Year : 2024

Normalisation Contextuelle : Une Nouvelle Approche pour la Stabilité et l'Amélioration des Performances des Réseaux de Neurones

Abstract

L'apprentissage des réseaux de neurones est confronté à des défis majeurs liés au changement de distribution en couches, perturbant ainsi la convergence et les performances des modèles. La Normalisation par lot (BN) a révolutionné ce domaine, mais repose sur l'hypothèse simplifiée d'une seule composante gaussienne par lot. Pour remédier à cela, la Normalisation par Mélange (MN) a adopté une approche basée sur le modèle de mélange gaussien (GMM), mais avec des coûts computationnels importants liés à l'algorithme Espérance-Maximisation (EM) pour déterminer des composantes. Notre solution, la Normalisation Contextuelle (CN), regroupe des observations similaires en "contextes" pour une représentation locale, sans nécessiter d'algorithme de construction de ces contextes. Les paramètres de normalisation sont appris de manière similaire aux poids du modèle, assurant rapidité, convergence et performances supérieures par rapport à BN et MN.
Fichier principal
Vignette du fichier
Contexte_Normalisation___EGC24.pdf (399.51 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04456190 , version 1 (13-02-2024)

Identifiers

  • HAL Id : hal-04456190 , version 1

Cite

Bilal Faye, Hanane Azzag, Mustapha Lebbah, Fangchen Fang. Normalisation Contextuelle : Une Nouvelle Approche pour la Stabilité et l'Amélioration des Performances des Réseaux de Neurones. RNTI, 2024, Extraction et Gestion des Connaissances, RNTI-E-40, pp.83-106. ⟨hal-04456190⟩
51 View
14 Download

Share

Gmail Facebook X LinkedIn More