Learning the Direction of a Sound Source Using Head Motions and Spectral Features - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2011

Learning the Direction of a Sound Source Using Head Motions and Spectral Features

Abstract

In this paper we address the problem of localizing a sound-source by combining binaural or monaural spectral features with head movements. Based on a number of psychophysical and behavioral studies suggesting that the problem of spatial hearing is both listener-dependent and dynamic, we propose to address the problem at hand within the framework of unsupervised learning. More precisely, our method is able to retrieve an intrinsic low-dimensional parameterization from the high-dimensional spectral representation of the acoustic input. We address both binaural and monaural spatial localization with both static and dynamic cues. We show that the recovered low-dimensional representations are homeomorphic to the two-dimensional manifold associated with the motor states of a robotic head with two rotational degrees of freedom. We describe the experimental setup and protocols allowing us to gather acoustic data sets with ground truth for both the emitter-to-listener directions and precise head motions. We validate our method using extensive experiments that consist in classifying acoustic vectors from a test set, based on manifold learning with a different training set. Our method strongly contrasts with current approaches in sound localization because it puts forward the role of learning.
Dans ce papier, nous abordons le problème de la localization sonore en combinant les caractéristiques spectrales monaurales et binaurales des sons à des mouvements de tête. Partant de nombreuses observations psychophysiques et comportementales suggérant que le problème de l'audition spatiale est à la fois dynamique et dépendante du sujet, nous proposons d'envisager le problème par le biais de l'apprentissage non-supervisé. Plus précisément, notre méthode permet de retrouver une paramétrisation intrinsèque en basse dimension à partir d'une représentation spectrale en haute dimension des données acoustiques. Nous traitons à la fois la localisation binaurale et monaurale, avec des indices statiques ou dynamiques. Nous montrons que les représentations en basse dimension obtenues sont homéomorphiques à la variété bidimensionelle associée aux états moteurs d'une tête robotique dôtée de deux degrées de libertée rotationels. Nous décrivons l'installation et les protocols expérimentaux qui nous ont permis de réunir un ensemble de données acoustiques, précisément annotées à la fois par la direction émeteur-récepteur et les mouvements de têtes. Nous validons notre méthode par des expériences approffondies consistant à classifier les vecteurs acoustiques d'un ensemble test, en se servant d'une variété apprise à partir d'un ensemble d'entraînement différent. Notre méthode contraste fortement avec les approches actuelles en localisation sonore car elle met en avant le rôle de l'apprentissage.
Fichier principal
Vignette du fichier
RR-7529.pdf (2.52 Mo) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

inria-00564708 , version 1 (09-02-2011)

Identifiers

  • HAL Id : inria-00564708 , version 1

Cite

Antoine Deleforge, Radu Horaud. Learning the Direction of a Sound Source Using Head Motions and Spectral Features. [Research Report] RR-7529, INRIA. 2011, pp.29. ⟨inria-00564708⟩
421 View
288 Download

Share

Gmail Facebook X LinkedIn More