New methods for image classification, image retrieval and semantic correspondence
Nouvelles méthodes pour classification d'image, recherche d'image et correspondance sémantique
Résumé
The problem of image representation is at the heart of computer vision. The choice
of feature extracted of an image changes according to the task we want to study. Large
image retrieval databases demand a compressed global vector representing each image,
whereas a semantic segmentation problem requires a clustering map of its pixels. The
techniques of machine learning are the main tool used for the construction of these
representations. In this manuscript, we address the learning of visual features for three
distinct problems: Image retrieval, semantic correspondence and image classification.
First, we study the dependency of a Fisher vector representation on the Gaussian
mixture model used as its codewords. We introduce the use of multiple Gaussian
mixture models for different backgrounds, e.g., different scene categories, and analyze
the performance of these representations for object classification and the impact of
scene category as a latent variable.
Our second approach proposes an extension to the exemplar SVM feature encoding
pipeline. We first show that, by replacing the hinge loss by the square loss in the
ESVM cost function, similar results in image retrieval can be obtained at a fraction of
the computational cost. We call this model square-loss exemplar machine, or SLEM.
Secondly, we introduce a kernelized SLEM variant which benefits from the same computational
advantages but displays improved performance. We present experiments
that establish the performance and efficiency of our methods using a large array of
base feature representations and standard image retrieval datasets.
Finally, we propose a deep neural network for the problem of establishing semantic
correspondence. We employ object proposal boxes as elements for matching and
construct an architecture that simultaneously learns the appearance representation
and geometric consistency. We propose new geometrical consistency scores tailored
to the neural network’s architecture. Our model is trained on image pairs obtained
from keypoints of a benchmark dataset and evaluated on several standard datasets,
outperforming both recent deep learning architectures and previous methods based
on hand-crafted features.
We conclude the thesis by highlighting our contributions and suggesting possible
future research directions.
Le problème de représentation d’image est au coeur du domaine de vision. Le choix
de représentation d’une image change en fonction de la tâche que nous voulons étudier.
Un problème de recherche d’image dans des grandes bases de données exige une
représentation globale compressée, alors qu’un problème de segmentation séantique
nécessite une carte de partitionnement de ses pixels. Les techniques d’apprentissage
statisque sont l’outil principal pour la construction de ces représentations. Dans ce
manuscrit, nous abordons l’apprentissage des représentations visuels dans trois problèmes
différents: la recherche d’image, la correspondance sémantique et classification
d’image.
Premièrement, nous étudions la représentation vectorielle de Fisher et sa dépendence
sur le modèle de mélange Gaussien employé. Nous introduisons l’utilisation
de plusieurs modèles de mélange Gaussien pour différents types d’arrière-plans, e.g.,
différentes catégories de scène, et analyser la performance de ces représentations pour
objet classification et l’impact de la catégorie de scène en tant que variable latente.
Notre seconde approche propose une extension de la représentation l’exemple SVM
pipeline. Nous montrons d’abord que, en remplaçant la fonction de perte de la SVM
par la perte carrée, on obtient des résultats similaires à une fraction de le coût de
calcul. Nous appelons ce modèle la « square-loss exemplar machine », ou SLEM en
anglais. Nous introduisons une variante de SLEM à noyaux qui bénéficie des même
avantages coputationnelles mais affiche des performances améliorées. Nous présentons
des expériences qui établissent la performance et l’efficacité de nos méthodes
en utilisant une grande variété de représentations de base et de jeux de données de
recherche d’images.
Enfin, nous proposons un réseau neuronal profond pour le problème de l’établissement
sémantique correspondance. Nous utilisons des boîtes d’objets en tant qu’éléments de
correspondance pour construire une architecture qui apprend simultanément l’apparence
et la cohérence géométrique. Nous proposons de nouveaux scores géométriques de cohérence
adaptés à l’architecture du réseau de neurones. Notre modèle est entraâiné
sur des paires d’images obtenues à partir des points-clés d’un jeu de données de
référence et évaluées sur plusieurs ensembles de données, surpassant les architectures
d’apprentissage en profondeur récentes et méthodes antérieures basées sur des caractéristiques
artisanales. Nous terminons la thèse en soulignant nos contributions et en
suggérant d’éventuelles directions de recherche futures.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|