Pairwise MRF Calibration by Perturbation of the Bethe Reference Point - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2012

Pairwise MRF Calibration by Perturbation of the Bethe Reference Point

Abstract

We investigate different ways of generating approximate solutions to the inverse problem of pairwise Markov random field (MRF) model learning. We focus mainly on the inverse Ising problem, but discuss also the somewhat related inverse Gaussian problem. In both cases, the belief propagation algorithm can be used in closed form to perform inference tasks. Our approach consists in taking the Bethe mean-field solution as a reference point for further perturbation procedures. We remark indeed that both the natural gradient and the best link to be added to a maximum spanning tree (MST) solution can be computed analytically. These observations open the way to many possible algorithms, able to find approximate sparse solutions compatible with belief propagation inference procedures. Experimental tests on various datasets with refined $L_0$ or $L_1$ regularization procedures indicate that this approach may be a competitive and useful alternative to existing ones.
Nous étudions différentes méthodes pour trouver des solutions approchées au problème inverse de calibration de champ Markovien aléatoire à interaction de paires. Nous considérons principalement au modèle d'Ising ainsi qu'au problème lié de modèle Gaussien. En principe dans ces deux cas l'algorithme de propagation de croyance peut-être utilisé sous forme cohérente pour résoudre des problèmes d'inférence. Notre approche consiste à utiliser la solution de champ moyen de Bethe comme référence et d'effectuer différentes perturbations à partir de ce point de départ. Nous remarquons en particulier que le gradient naturel ainsi que le lien optimal à ajouter a graphe de facteurs obtenu comme arbre couvrant maximal peuvent être obtenus de façon analytique. Ces observation ouvrent un certain nombre de perspectives algorithmiques permettant de trouver des solutions sur des graphes dilués, compatibles avec la propagation de croyances. Des tests numériques portant sur différents jeux de données permettant une comparaison à des methodes de régularisation $L_0$ ou $L_1$ indiquent que cette approche peut-être une alternative compétitive aux méthodes classiques.
Fichier principal
Vignette du fichier
RR-8059.pdf (794.53 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-00743334 , version 1 (18-10-2012)

Identifiers

  • HAL Id : hal-00743334 , version 1

Cite

Cyril Furtlehner, Yufei Han, Jean-Marc Lasgouttes, Victorin Martin. Pairwise MRF Calibration by Perturbation of the Bethe Reference Point. [Research Report] RR-8059, INRIA. 2012, pp.35. ⟨hal-00743334⟩
225 View
135 Download

Share

Gmail Facebook X LinkedIn More