DNN-based mask estimation for distributed speech enhancement in spatially unconstrained microphone arrays - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Journal Articles IEEE/ACM Transactions on Audio, Speech and Language Processing Year : 2021

DNN-based mask estimation for distributed speech enhancement in spatially unconstrained microphone arrays

Abstract

Deep neural network (DNN)-based speech enhancement algorithms in microphone arrays have now proven to be efficient solutions to speech understanding and speech recognition in noisy environments. However, in the context of ad-hoc microphone arrays, many challenges remain and raise the need for distributed processing. In this paper, we propose to extend a previously introduced distributed DNN-based time-frequency mask estimation scheme that can efficiently use spatial information in form of so-called compressed signals which are pre-filtered target estimations. We study the performance of this algorithm named Tango under realistic acoustic conditions and investigate practical aspects of its optimal application. We show that the nodes in the microphone array cooperate by taking profit of their spatial coverage in the room. We also propose to use the compressed signals not only to convey the target estimation but also the noise estimation in order to exploit the acoustic diversity recorded throughout the microphone array.
Fichier principal
Vignette du fichier
furnon.pdf (3.57 Mo) Télécharger le fichier
bi_vs_wi.png (58.21 Ko) Télécharger le fichier
crossconfig_living_sn2.png (88.13 Ko) Télécharger le fichier
crossconfig_meeting_sn2.png (58.33 Ko) Télécharger le fichier
crossconfig_random_sn2.png (58.25 Ko) Télécharger le fichier
fs_vs_fsdn_random2.png (161.84 Ko) Télécharger le fichier
living_room.png (47.63 Ko) Télécharger le fichier
mask_on_z_distant.pdf (17.22 Ko) Télécharger le fichier
mask_on_z_local.pdf (17.19 Ko) Télécharger le fichier
meeting_room.png (57.43 Ko) Télécharger le fichier
mn_random_best_in2.png (88.78 Ko) Télécharger le fichier
mn_random_best_out2.png (65.68 Ko) Télécharger le fichier
mn_random_worst_in2.png (65.8 Ko) Télécharger le fichier
noise_fs2.png (74.8 Ko) Télécharger le fichier
noise_ssn2.png (74.64 Ko) Télécharger le fichier
perf_analysis_rt_dstoi.png (100.36 Ko) Télécharger le fichier
perf_analysis_rt_stoi.png (123.83 Ko) Télécharger le fichier
perf_analysis_sir_dsir.png (131.71 Ko) Télécharger le fichier
perf_analysis_sir_sir.png (138.89 Ko) Télécharger le fichier
random_room.png (62.57 Ko) Télécharger le fichier
sigex.pdf (292.45 Ko) Télécharger le fichier
sn_vs_mn_living2.png (75.54 Ko) Télécharger le fichier
sn_vs_mn_meeting2.png (58.67 Ko) Télécharger le fichier
sn_vs_mn_random2.png (58.31 Ko) Télécharger le fichier
specs_input.png (412.73 Ko) Télécharger le fichier
specs_irm.png (410.12 Ko) Télécharger le fichier
specs_m1.png (301.81 Ko) Télécharger le fichier
specs_m2.png (242.5 Ko) Télécharger le fichier
specs_output.png (365.34 Ko) Télécharger le fichier
specs_z.png (384.68 Ko) Télécharger le fichier
step2.pdf (31.75 Ko) Télécharger le fichier
tango_nn_v2.pdf (46.83 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Origin Files produced by the author(s)
Origin Files produced by the author(s)

Dates and versions

hal-02985867 , version 1 (02-11-2020)
hal-02985867 , version 2 (19-05-2021)
hal-02985867 , version 3 (20-08-2021)

Identifiers

Cite

Nicolas Furnon, Romain Serizel, Slim Essid, Irina Illina. DNN-based mask estimation for distributed speech enhancement in spatially unconstrained microphone arrays. IEEE/ACM Transactions on Audio, Speech and Language Processing, 2021, 29, pp.2310 - 2323. ⟨10.1109/TASLP.2021.3092838⟩. ⟨hal-02985867v3⟩
254 View
363 Download

Altmetric

Share

Gmail Mastodon Facebook X LinkedIn More