Cycle-based Cluster Variational Method for Direct and Inverse Inference - Inria - Institut national de recherche en sciences et technologies du numérique
Rapport (Rapport De Recherche) Année : 2015

Cycle-based Cluster Variational Method for Direct and Inverse Inference

Inférence Directe et Inverse par Méthode Cluster Variationnelle a base de Cycles

Résumé

We elaborate on the idea that loop corrections to belief propagation could be dealt with in a systematic way on pairwise Markov random fields, by using the elements of a cycle basis to define region in a generalized belief propagation setting. The region graph is specified in such a way as to avoid dual loops as much as possible, by discarding redundant Lagrange multipliers, in order to facilitate the convergence, while avoiding instabilities associated to minimal factor graph construction. We end up with a two-level algorithm, where a belief propagation algorithm is run alternatively at the level of each cycle and at the inter-region level. The inverse problem of finding the couplings of a Markov random field from empirical covariances can be addressed region wise. It turns out that this can be done efficiently in particular in the Ising context, where fixed point equations can be derived along with a one-parameter log likelihood function to minimize. Numerical experiments confirm the effectiveness of these considerations both for the direct and inverse MRF inference.
Nous examinons en détails une façon de traiter de façon systématique pour un champ Markovien aléatoire à interactions de paires, les corrections de boucles à l'algorithme de ``propagation de croyances'', consistant à choisir pour régions externes, dans un contexte de propagation de croyances généralisées, les éléments d'une base de cycles. Le graphe de régions est spécifié de telle sorte qu'on évite les boucles de rétroactions autant que faire ce peut dans le graphe des facteurs, en écartant un certain nombre de contraintes redondantes, afin de faciliter la convergence globale tout en évitant des instabilités qui résulteraient d'une construction a minima du graphe de régions. Nous aboutissons à un algorithme de propagation de croyances a deux niveaux, celui des cycles eux-mêmes pris individuellement et celui du graphe dual où chaque nœud correspond à un cycle. Suivant cette logique, le problème inverse consistant à déterminer les paramètres de couplages du champ Markovien aléatoire à partir de covariances empiriques, factorise en une somme de problèmes inverses indépendants correspondant à chaque élément de la base de cycles. Il se trouve que ceci peut se faire efficacement, en particulier pour le problème d'Ising inverse, à l'aide d'équations de points fixes et d'optimisations de fonction de log vraisemblance à un seul paramètre. Des expériences numériques viennent conforter la pertinence de cette construction à la fois pour le problème d'inférence direct ainsi que pour le problème inverse de sélection de champ Markovien aléatoire.
Fichier principal
Vignette du fichier
RR-8788.pdf (860.82 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-01214155 , version 1 (09-10-2015)
hal-01214155 , version 2 (24-10-2016)

Identifiants

  • HAL Id : hal-01214155 , version 1

Citer

Cyril Furtlehner, Aurélien Decelle. Cycle-based Cluster Variational Method for Direct and Inverse Inference. [Research Report] RR-8788, INRIA Saclay, équipe TAO. 2015, 40 p. ⟨hal-01214155v1⟩

Collections

INRIA-RRRT LARA
399 Consultations
179 Téléchargements

Partager

More