Nous nous intéressons ici à la segmentation de catégories d'objets dans des images. Si les modèles d'apparence par sac-de-mots sont ceux qui donnent à ce jour les meilleures performances en termes de classification d'image et de localisation d'objets, ils ne permettent pas de localiser précisément les frontières des objets. Cela vient du fait que les objets ne sont considérés que comme des collections non structurées d'informations éparses. Parallèlement, les modèles basés sur des champs de Markov (MRF) utilisés pour la segmentation d'images se basent essentiellement sur les frontières et permettent une régularisation spatiale, mais utilisent difficilement des contraintes globales liées aux objets, ce qui est indispensable lorsqu'on travaille avec des catégories d'objets dont l'apparence peut varier significativement dune instance à l'autre. La principale contribution de cet article est la combinaison élégante de ces deux approches. Notre approche comporte un mécanisme basé sur la détection d'objets par sac-de-mots produisant une segmentation grossière des images, et simultanément, un second mécanisme, lui basé sur un MRF, produit des segmentations propres. Ce second mécanisme est guidé à la fois par des indices locaux de l'image (couleur, texture et arrêtes) et par des dépendances à plus large échelle, données par le modèle sac-de-mots qui renforcent la consistance entre les labels. Des expériences sur les bases Pascal VOC 2006 et Graz-02 montrent des résultats impressionnants dans le contexte difficile de la segmentation de catégories d'objets en présence de fonds encombrés et de larges changements de points de vue.