On speaker verification from the neural network footprint of personalized acoustic models - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Conference Papers Year : 2022

On speaker verification from the neural network footprint of personalized acoustic models

Sur la vérification du locuteur à partir de traces d’exécution de modèles acoustiques personnalisés

Abstract

Speaker personalized acoustic models are obtained from a global model by updating its parameters using speaker's data. An important question is whether access to these personalized models allows to easily build an attack to identify the associated speaker. This problem is especially important in the context of federated learning of speech recognition acoustic models where a global model is learnt on the server using the updates received from multiple clients. We propose an approach to analyze information in neural network acoustic models based on a neural network footprint on the so-called indicator dataset. Using this method, we develop two very effective attack models that allow to infer speaker identity from the updated personalized models without access to the users’ speech data.
Les modèles acoustiques personnalisés sont construits par entraînement à partir de données provenant d’un locuteur unique en raffinant un modèle générique. Une question importante est de savoir si l’accès à ces modèles personnalisés permet facilement de construire une attaque permettant d’identifier le locuteur associé. Ce problème est important dans le contexte de l’apprentissage fédéré de modèles pour la reconnaissance de la parole où un modèle global est appris sur un serveur à partir des modifications des paramètres des modèles reçues de plusieurs clients. Nous proposons une méthode qui consiste à construire des empreintes de ces modèles à partir des traces de leur application sur un jeu de données fixe et indépendant que nous appelons indicateur. Grâce à ces empreintes, nous développons deux modèles d’attaques très efficaces qui visent à inférer l’identité du locuteur.
Fichier principal
Vignette du fichier
FL_JEP_2022-HAL.pdf (651.27 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03626964 , version 1 (04-07-2022)

Identifiers

  • HAL Id : hal-03626964 , version 1

Cite

Natalia Tomashenko, Salima Mdhaffar, Marc Tommasi, Yannick Estève, Jean-François Bonastre. On speaker verification from the neural network footprint of personalized acoustic models. Journées d'Études sur la Parole - JEP2022, Jun 2022, Île de Noirmoutier, France. ⟨hal-03626964⟩
119 View
63 Download

Share

Gmail Facebook X LinkedIn More