Nous étudions différentes méthodes pour trouver des solutions approchées au problème inverse de calibration de champ Markovien aléatoire à interaction de paires. Nous considérons principalement au modèle d'Ising ainsi qu'au problème lié de modèle Gaussien. En principe dans ces deux cas l'algorithme de propagation de croyance peut-être utilisé sous forme cohérente pour résoudre des problèmes d'inférence. Notre approche consiste à utiliser la solution de champ moyen de Bethe comme référence et d'effectuer différentes perturbations à partir de ce point de départ. Nous remarquons en particulier que le gradient naturel ainsi que le lien optimal à ajouter a graphe de facteurs obtenu comme arbre couvrant maximal peuvent être obtenus de façon analytique. Ces observation ouvrent un certain nombre de perspectives algorithmiques permettant de trouver des solutions sur des graphes dilués, compatibles avec la propagation de croyances. Des tests numériques portant sur différents jeux de données permettant une comparaison à des methodes de régularisation $L_0$ ou $L_1$ indiquent que cette approche peut-être une alternative compétitive aux méthodes classiques.