Deep neural architectures for automatic representation learning from multimedia multimodal data
Architectures neuronales profondes pour l’apprentissage de représentations multimodales de données multimédias
Résumé
In this dissertation, the thesis that deep neural networks are suited for analysis of visual, textual and fused visual and textual content is discussed. This work evaluates the ability of deep neural networks to learn automatic multimodal representations in either unsupervised or supervised manners and brings the following main contributions:
Recurrent neural networks for spoken language understanding (slot filling): different architectures are compared for this task (GRU, LSTM, CRF, etc.) with the aim of modeling both the input context and output label dependencies. Extensive systematic comparisons on two benchmarks are performed indicating that multiple results reported in literature and evaluated solely on dataset are often statistically insignificant and thus partially erroneous.
Action prediction from single images: we propose an architecture that allow us to predict human actions from a single image. The architecture is evaluated on videos, by utilizing solely one frame as input. Contrary to classical approaches, our proposed architecture allows the generation of prediction at arbitrary temporal differences.
Bidirectional multimodal encoders: the main contribution of this thesis consists of neural architecture that translates from one modality to the other and conversely and offers and improved multimodal representation space where the initially disjoint representations can translated and fused. This enables for improved multimodal fusion of multiple modalities (text and images in this work). The architecture was extensively studied and evaluated in international benchmarks within the task of video hyperlinking where it defined the state of the art today.
Generative adversarial networks for multimodal fusion: continuing on the topic of multimodal fusion, we evaluate the possibility of using conditional generative adversarial networks to learn multimodal representations. Preliminary results indicate that such representations could be superior to representations obtained with multimodal autoencoders but that such neural architectures are currently limited in regards of image size. In addition to providing multimodal representations, generative adversarial networks permit to visualize the learned model directly in the image domain.
La thèse porte sur le développement d’architectures neuronales profondes permettant d’analyser des contenus textuels ou visuels, ou la combinaison des deux. De manière générale, le travail tire partie de la capacité des réseaux de neurones à apprendre des représentations abstraites (descripteurs) de contenus multimédias de manière supervisée ou non, e.g., par des architectures de type auto-encodeur. Les principales contributions de la thèse sont les suivantes :
Réseaux récurrents pour la compréhension de la parole (tâche dite de slot filling) : différentes architectures de réseaux sont comparées pour cette tâche (GRU, LSTM, CRF, etc.) sur leurs facultés à modéliser les observations ainsi que les dépendances sur les étiquettes à prédire; ces comparaisons systématiques sur 2 benchmarks montrent notamment que les conclusions actuelles de la littérature tirées à partir d'un seul benchmark sont en partie erronées.
Prédiction d’image et de mouvement : nous proposons une architecture permettant d’apprendre une représentation d’une image représentant une action humaine afin de prédire l’évolution du mouvement dans une vidéo ; l’originalité du modèle proposé réside dans sa capacité à prédire des images à une distance arbitraire dans une vidéo, par opposition aux approches classiques qui ne permettent que la prédiction de l’image suivante.
Encodeurs bidirectionnels multimodaux : le résultat majeur de la thèse concerne la proposition d’un réseau bidirectionnel permettant de traduire une modalité en une autre, offrant ainsi la possibilité de représenter conjointement plusieurs modalités (langage et image dans la thèse) ou de passer de l’une à l’autre ; l’approche a été étudiée principalement en recherche d’information multi/cross-modale et en structuration de collections de vidéos, dans le cadre d’évaluations internationales où l’approche proposée s’est imposée comme l’état de l’art.
Réseaux adverses pour la fusion multimodale : poursuivant la quête de représentations multimodales, la thèse propose d’utiliser les architectures génératives adverses (Generative Adversarial Network) pour apprendre des représentations multimodales ; des résultats préliminaires montrent que, sous certaines conditions notamment concernant la taille des images, ces approches s’avèrent plus efficaces que les encodeurs bidirectionnels tout en offrant la possibilité de visualiser les représentations dans l’espace des images.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...