Learning and optimization for 3D super-resolution in fluorescence microscopy - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Theses Year : 2023

Learning and optimization for 3D super-resolution in fluorescence microscopy

Apprentissage et optimisation pour la super-résolution 3D en microscopie de fluorescence

Abstract

The objective of this thesis is to develop new algorithmic reconstruction methods for super-resolution in fluorescence microscopy. The spatial resolution of images of live samples obtained by fluorescence microscopes is physically limited due to the diffraction of visible light, making it difficult to study entities of size smaller than the diffraction barrier that is around 200 nm in the lateral plane and 500 nm in the axial direction. In comparison to other state-of-the-art super-resolution techniques, the ones we are proposing do not require special fluorophores, complex prototypes, sample fixation and long acquisition times, allowing live cell imaging using standard equipment with little damage to the sampleOur first contribution is the method COL0RME (COvariance-based l0 super-Resolution Microscopy with intensity Estimation) that reconstructs in a variational framework a laterally super-resolved image given a short temporal stack of frames. In this method, we exploit the non-correlation property between distinct emitters as well as the sparse distribution of the fluorescent molecules via the use of a sparsity-promoting regularization term defined on the emitters' covariance matrix. The existence of the regularization term results to a non-differential convex or non-convex function that we minimize using a proximal gradient-based iterative schema. As an extension of COL0RME, we replace the proximity operator with an image denoiser (i.e. a pretrained network), following the Plug-and-Play (PnP) reconstruction framework.We then proposed two unsupervised hybrid approaches that combine the physical modelling of fluorescence microscopy time-lapse acquisitions with generative approaches for the problem of image deconvolution. For the first approach we are using Generative Adversarial Networks (GANs) while for the second Variational Auto-Encoders (VAEs).Finally, we present a 3D super-resolution approach to improve both lateral and axial resolution of a thin layer adjacent to the coverslip in Total Internal Reflection Fluorescence (TIRF) microscopy imaging applications. We combine the method COL0RME that performs super-resolution in the lateral plane with a 3D reconstruction procedure in the axial direction using Multi-Angle TIRF (MA-TIRF).
L'objectif de cette thèse est de développer de nouvelles méthodes de reconstruction algorithmique pour la super-résolution en microscopie de fluorescence. La résolution spatiale des images d'échantillons vivants obtenues par les microscopes à fluorescence est physiquement limitée en raison de la diffraction de la lumière visible, ce qui rend difficile l'étude d'entités de taille inférieure à la barrière de diffraction qui est d'environ 200 nm dans le plan latéral et 500 nm dans la direction axiale. Par rapport aux autres techniques de super-résolution, celles que nous proposons ne nécessitent pas de fluorophores spéciaux, de prototypes complexes, de fixation de l'échantillon et de longs temps d'acquisition, ce qui permet l'imagerie de cellules vivantes à l'aide d'un équipement standard et peu nocif pour l'échantillon.Notre première contribution est la méthode COL0RME (COvariance-based l0 super-Resolution Microscopy with intensity Estimation) qui reconstruit dans un cadre variationnel une image super-résolue latéralement à partir d'une courte pile temporelle. Dans cette méthode, nous exploitons le non corrélation entre les émetteurs distincts ainsi que la distribution parcimonieuse des molécules fluorescentes par l'utilisation d'un terme de régularisation favorisant la parcimonie définie sur la matrice de covariance des émetteurs. L'existence du terme de régularisation produit une fonction non-différentielle convexe ou non-convexe que nous minimisons en utilisant un schéma itératif de gradient proximal. Comme extension de COL0RME, nous remplaçons l'opérateur proximal par un débruiteur d'images (un réseau de neurones pré-entraîné), suivant le cadre de reconstruction Plug-and-Play (PnP).Nous avons ensuite proposé deux approches hybrides non supervisées qui combinent la modélisation physique des acquisitions temporelles en microscopie de fluorescence avec des approches génératives pour le problème de la déconvolution des images. Pour la première approche, nous utilisons des Generative Adversarial Networks (GANs) et pour la seconde des Variational Auto-Encoders (VAEs).Enfin, nous présentons une méthode de super-résolution 3D pour améliorer la résolution latérale et axiale d'une fine couche adjacente à la lamelle de verre dans des applications d'imagerie par microscopie à réflexion interne totale (Total Internal Reflection Fluorescence (TIRF) en anglais). Nous combinons la méthode COL0RME qui effectue la super-résolution dans le plan latéral avec une procédure de reconstruction 3D dans la direction axiale en utilisant le TIRF multi-angle (MA-TIRF).
Fichier principal
Vignette du fichier
2023COAZ4007.pdf (14.62 Mo) Télécharger le fichier
Origin Version validated by the jury (STAR)

Dates and versions

tel-04089027 , version 1 (04-05-2023)

Identifiers

  • HAL Id : tel-04089027 , version 1

Cite

Vasiliki Stergiopoulou. Learning and optimization for 3D super-resolution in fluorescence microscopy. Optimization and Control [math.OC]. Université Côte d'Azur, 2023. English. ⟨NNT : 2023COAZ4007⟩. ⟨tel-04089027⟩
147 View
48 Download

Share

Gmail Mastodon Facebook X LinkedIn More