Image Reconstruction from Multiple Shots with Trainable Algorithms - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Theses Year : 2023

Image Reconstruction from Multiple Shots with Trainable Algorithms

Reconstruction d'images à partir de prises de vue multiples avec des algorithmes entraînables

Abstract

Among the extensive research dedicated to inverse problems for image restoration, multi-frame-based methods have shown much promise. These methods aim to overcome hardware limitations by combining shots taken in rapid succession, possibly with various camera settings, to best exploit the imaging device's capability. Deep learning is another prominent research direction. Still, it faces limitations for real-world image restoration: (1) artifacts arise from disparities between training images (simulated) and real-world data (2) inferred images may feature false details which represents a significant limitation for accurate scientific and medical applications (3) the high computational costs that make challenging deployments on embedded devices. Hybrid methods have gained significant attention for bridging the gap between model-based approaches and machine learning for tackling inverse problems. By embedding the physical models into learning algorithms, it is possible to achieve state-of-the-art performances on various image restoration tasks with compact architectures, on par with state-of-the-art neural networks, with significantly reduced computational cost and improved robustness on real-world images. The present thesis is dedicated to an in-depth exploration of hybrid methods for solving inverse problems, with a specific focus on their pragmatic implementation in burst photography for real-world applications. The first part of this thesis studies hybrid methods for single-image restoration, providing some methodological tools and some tricks for unrolled optimization. We propose a trainable non-local sparse model for image restoration, leveraging a differentiable relaxation of the unrolled group lasso solver. Taking it a step further, we propose a framework providing differentiable relaxations of convex non-smooth optimization solvers for classic image priors and some. These models demonstrate comparable performance to large neural networks but with significantly fewer parameters, increased interpretability, and faster training times, requiring less training data. The second part of the thesis delves into combining hybrid methods with multi-frame image restoration for super-resolution and HDR reconstruction applications. In this section, our primary focus is reconstructing scenes using real-world images rather than relying on experiments conducted with synthetic data. The design of plug-and-play (PnP) algorithms for burst photography is explored, with efforts directed toward practical implementation and optimization for mobile devices. Throughout our investigation, we have consistently identified registration quality as a prominent bottleneck. Finally, we propose a novel, dense multi-frame registration algorithm to tackle this challenge effectively, enabling 3D scene reconstruction from image bursts with tiny baselines.
Cette thèse explore les méthodes hybrides pour les problèmes inverses, en se concentrant sur leur mise en œuvre pratique pour la photographie en rafale. Elle est divisée en deux parties principales. La première partie est consacrée à l'étude de méthodes hybrides pour des applications de restauration d'images, en fournissant plusieurs outils méthodologiques. Notamment, un nouveau problème inverse appris régularisé avec un prior parcimonieux non locale est proposé, en tirant parti d'une relaxation différentiable d’un optimiseur du problème d’optimisation du group lasso. Ensuite, un cadre fournissant des relaxations différentiables de solveurs d'optimisation convexes non lisses pour des priors d'images est étudié. Ces modèles présentent des performances comparables à celles de réseaux de neurones état de l’art plus grands, mais avec beaucoup moins de paramètres, une interprétabilité accrue, des temps d’entraînement plus courts et une plus petite quantité de données d’apprentissage. La deuxième partie de la thèse se penche sur l'intégration de l'apprentissage automatique pour les techniques de restauration d'images multi-images, pour des applications sur des images réelles, pour des problèmes comme la super-résolution et la reconstruction HDR. La conception d'algorithmes plug-and-play pour la photographie en rafale est explorée, avec des efforts dirigés vers la mise en œuvre pratique et l'optimisation de la mémoire pour une implémentation sur appareil mobile. Au cours de notre étude, la qualité de l’alignement des images a été identifié comme un élément bloquant. Pour contourner ce problème, nous proposons un nouvel algorithme de recalage multi-images dense, permettant également la reconstruction de scènes 3D à partir de rafales d'images avec de petits déplacements.
Fichier principal
Vignette du fichier
thesisplain.pdf (68.22 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

tel-04489120 , version 1 (04-03-2024)
tel-04489120 , version 2 (28-03-2024)

Licence

Identifiers

  • HAL Id : tel-04489120 , version 2

Cite

Bruno Lecouat. Image Reconstruction from Multiple Shots with Trainable Algorithms. Computer Science [cs]. INRIA Paris; Ecole Normale Supérieure (ENS), 2023. English. ⟨NNT : ⟩. ⟨tel-04489120v2⟩
120 View
11 Download

Share

Gmail Mastodon Facebook X LinkedIn More