Federated learning of biomedical data in multicentric imaging studies
Apprentissage fédéré de données biomédicales dans les études d'imagerie multicentriques
Résumé
In order to gather sufficient sample size and representativity of clinical populations, the multi-centric analysis paradigm is often adopted for statistical and machine learning studies of biomedical data, particularly in the field of neuroimaging. Conventional multi-centric analysis paradigms are based on meta-analysis and mega-analysis, often in conjunction with data harmonization, to account for systematic biases and improve the combined analysis of data from multiple sources. However, while meta-analyses are mainly suited for standard statistical testing only, mega-analyses require centralizing the data, which can undermine data privacy and security. Today, data protection regulations such as the General Data Protection Regulation (GDPR) and the California Consumer Privacy Act (CCPA) impose strict governance on sensitive patient information, significantly limiting researchers' access to such data.Federated learning (FL) is an alternative paradigm to multi-centric studies enabling multiple parties to train a model collaboratively without sharing sensitive data. FL thus addresses data governance challenges while enhancing patients’ data privacy. However, to facilitate real-life applications of FL, a series of challenges must be addressed: i) heterogeneity and generalization due to differences in data distributions and discrepancies across different institutions which can result in biased models that do not generalize properly, ii) occasional requirements of considerable amounts of computational resources that hospitals or institutions may not have, limiting its practicality and, ii) a common framework and infrastructure to put in place real-life applications while fulfilling research and governance demands. This thesis aims to contribute to the evolving landscape of neuroimaging research by investigating the potential of FL to transform the way researchers collaborate and analyze data, ultimately paving the way for more efficient and effective advancements in neuroimaging.We start by addressing the issue of data heterogeneity in federated learning setups, by introducing two methods, namely "Fed-ComBat" and "federated mixed-effect modeling", which aim to perform data harmonization and modeling on heterogeneous data respectively.Secondly, we introduce a black-box optimization scheme for FL aiming to improve the optimization process in federated setups. This method is based on gradient-free optimization of a global model, through the collaborative iterative refinement of the cost function associated with the distributed optimization problem across clients. This approach aims to centralize computational costs and mitigate overfitting issues linked to gradient-descent-based approaches while enabling institutions and hospitals with limited computational resources to participate in federated learning setups while achieving accurate and generalizable models.Finally, to enable and empower real-life federated applications, we introduce Fed-BioMed as an open-source framework for federated learning in healthcare, aiming to fulfill the need for a common collaborative framework that is also compliant with privacy and ethical standards.Overall, this thesis comprises methodological and technical contributions that tackle the challenges of data heterogeneity, optimization, and infrastructure in federated learning setups for neuroimaging research, with the ultimate goal of facilitating more efficient and effective advancements in healthcare while preserving patient privacy and data governance.
Afin de rassembler une taille d'échantillon suffisante et une représentativité des populations cliniques, le paradigme d'analyse multicentrique est souvent adopté pour les études statistiques et d'apprentissage automatique sur les données biomédicales, en particulier dans le domaine de la neuroimagerie. Les paradigmes d'analyse multicentrique conventionnels sont basés sur la méta-analyse et la méga-analyse, souvent en conjonction avec l'harmonisation des données, pour tenir compte des biais systématiques et améliorer l'analyse combinée des données provenant de sources multiples. Cependant, alors que les méta-analyses sont principalement adaptées aux tests statistiques standard uniquement, les méga-analyses nécessitent la centralisation des données, ce qui peut compromettre la confidentialité et la sécurité des données. Aujourd'hui, les réglementations sur la protection des données telles que le RGPD et la CCPA imposent une gouvernance stricte sur les informations sensibles des patients, limitant considérablement l'accès des chercheurs à ces données.L'apprentissage fédéré (AF) est un paradigme alternatif aux études multicentriques permettant à plusieurs parties de former un modèle en collaboration sans partager de données sensibles. Le AF aborde ainsi les défis de la gouvernance des données tout en renforçant la confidentialité des données des patients. Cependant, pour faciliter les applications réelles du AF, une série de défis doit être relevée : i) l'hétérogénéité et la généralisation en raison des différences dans les distributions de données et les écarts entre les différentes institutions pouvant entraîner des modèles biaisés qui ne se généralisent pas correctement, ii) les besoins occasionnels en ressources de calcul importantes que les institutions peuvent ne pas avoir, limitant sa praticité et, ii) un cadre et une infrastructure communs pour mettre en place des applications réelles tout en répondant aux exigences de recherche et de gouvernance. Cette thèse vise à contribuer au paysage évolutif de la recherche en neuroimagerie en étudiant le potentiel du AF pour améliorer la manière dont les chercheurs collaborent et analysent les données, ouvrant la voie à des avancées plus efficientes en neuroimagerie.Nous commençons par aborder la question de l'hétérogénéité des données dans les configurations d'apprentissage fédéré, en présentant deux méthodes, à savoir "Fed-ComBat" et "modélisation à effets mixtes fédérée", qui visent à effectuer respectivement l'harmonisation des données et la modélisation sur des données hétérogènes.Deuxièmement, nous présentons un schéma d'optimisation à boîte noire pour l'AF afin d'améliorer l'optimisation en configurations fédérées. Cette méthode se base sur l'optimisation sans gradient d'un modèle global, en affinant de manière itérative et collaborative la fonction coût associée au problème d'optimisation distribué entre les clients. Cette approche vise à centraliser les coûts de calcul et atténuer les problèmes de surapprentissage liés aux approches basées sur la descente de gradient, tout en permettant aux institutions avec des ressources limitées de participer à l'apprentissage fédéré avec des modèles précis et généralisables.Enfin, pour permettre et soutenir les applications fédérées dans la vie réelle, nous présentons Fed-BioMed, un cadre open-source pour l'apprentissage fédéré dans le domaine de la santé, visant à répondre au besoin d'un cadre collaboratif commun qui est également conforme aux normes de confidentialité et d'éthique.Dans l'ensemble, cette thèse comprend des contributions méthodologiques et techniques qui abordent les défis de l'hétérogénéité des données, de l'optimisation et de l'infrastructure dans les configurations d'apprentissage fédéré pour la recherche en neuroimagerie, avec pour objectif ultime de faciliter des avancées plus efficaces et efficientes dans les soins de santé tout en préservant la confidentialité des patients et la gouvernance des données.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|