Thèse d'habilitation à diriger des recherches "Analysis of Comparison-based Stochastic Continuous Black-Box Optimization Algorithms" - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Theses Year : 2016

Thèse d'habilitation à diriger des recherches "Analysis of Comparison-based Stochastic Continuous Black-Box Optimization Algorithms"

Thèse d'habilitation à diriger des recherches "Analysis of Comparison-based Stochastic Continuous Black-Box Optimization Algorithms"

Anne Auger
  • Function : Author
  • PersonId : 751513
  • IdHAL : anne-auger


This manuscript presents a large part of my research since the end of my PhD. Most of my work is related to numerical (also referred to as continuous) optimization, at the exception of one contribution done during my postdoc in Zurich introducing a new stochastic algorithm to simulate chemical or biochemical systems [23]. The optimization algorithms at the core of my work are adaptive derivative-free stochastic (or randomized) optimization methods. The algorithms are tailored to tackle dificult numerical optimization problems in a so-called black-box context where the objective function to be optimized is seen as a black-box. For a given input solution, the black-box returns solely the objective function value but no gradient or higher order derivatives are assumed. The optimization algorithm can use the information returned by the black-box, i.e. the history of function values associated to the queried search points, but no other knowledge that could be within the black-box (parameters describing the class of functions the function belongs to, ...). This black-box context is very natural in industrial settings where the function to be optimized can be given by an executable file for which the source code is not provided. It is also natural in situations where the function is given by a large simulation code from which it is hard to extract any useful information for the optimization. This context is also called derivative-free optimization (DFO) in the mathematical optimization community. Well-known DFO methods are the Nelder-Mead algorithm [79, 77], pattern search methods [54, 90, 6] or more recently the NEW Unconstraint Optimization Algorithm (NEWUOA) developed by Powell [82, 81]. In this context, I have been focusing on DFO methods in the literal sense. However the methods my research is centered on have a large stochastic component and originate from the community of bio-inspired algorithms mainly composed of computer scientists and engineers. The methods were introduced at the end of the 70's. A parallel with Darwin's theory of the evolution of species based on blind variation and natural selection was recognized and served as source of inspiration for those methods. Nowadays this field of bio-inspired methods is referred to as evolutionary computation (EC) and a generic term for the methods is evolutionary algorithms. The probably most famous examples of bio-inspired methods are genetic algorithms (GAs). However today GAs are known to be not competitive for numerical optimization. Evolution Strategies (ES) introduced in the end of the 70's [83] have emerged as the main sub-branch of EC devoted to continuous optimization. One important feature of ES is that they are comparison-based algorithms. The present most advanced ES algorithm, the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) [50] is a variable metric method recognized as the state-of-the-art method for stochastic numerical optimization. It is used in many applications in industry and academy. Because of historical reasons, the developments and work on Evolution Strategies are mainly carried out in the EC field where practice and effectiveness is definitely as (or more) important as having a theorem proven about an algorithm. However ES algorithms are simply adaptive stochastic iterative methods and they need to be studied from a mathematical perspective as well as any other iterative method in optimization or other domain in order to understand the methods better and convince a broader class of people about their soundness. Questions like their convergence and speed of convergence central in optimization need to be addressed. My research is encompassed within this general context: I am particularly interested by the mathematical aspects of adaptive stochastic methods like ES (and of course CMA-ES) or more generally adaptive stochastic optimization algorithms. Evolution strategies have this attractive facet that while introduced in the bio-inspired and engineering context, they turn out to be methods with deep theoretical foundations related to invariance, information geometry, stochastic approximation and strongly connected to Markov chain Monte Carlo (MCMC) algorithms. Those foundations and connections are relatively new and to a small (for some topics) or large (for others) extent partly related to some of my contributions. They will be explained within the manuscript. I particularly care that the theory I am working on relates to practical algorithms or has an impact on (new) algorithm designs. I attempt to illustrate this within the manuscript. While optimization is the central theme of my research, I have been tackling various aspect of optimization. Although most of my work is devoted to single-objective optimization, I have also been working on multi-objective optimization where the goal is to optimize simultaneously several conflicting objectives and where instead of a single solution, a set of solutions, the so-called Pareto set composed of the best compromises is searched. In the field of single-objective optimization, I have been tackling diverse contexts like noisy optimization where for a given point in a search space we do not observe one deterministic value but a distribution of possible function values, large-scale optimization where one is interested in tackling problems of the order of 104 (medium large-scale) to 106 variables (large-scale) and to a smaller extent constrained optimization. In addition to investigating theoretical questions, I have been also working on designing new algorithms that calls for theory complemented with numerical simulations. Last I have tackled some applications mainly in the context of the PhD of Mohamed Jebalia with an application in chromatography and of the PhD of Zyed Bouzarkouna (PhD financed by the French Institute for petrol) on the placement of oil wells. Furthermore, a non neglect-able part of my research those past years has been devoted to benchmarking of algorithms. Benchmarking complements theory as it is difficult to assess theoretically the performance of algorithms on all typical functions one is interested. The main motivation has then been to improve the standards on how benchmarking is done. Those contributions were done along with the development of the Comparing COntinuous Optimizers platform (COCO). My work is articulated around three main complementary axis, namely theory / algorithm design and applications. An overview of the contributions presented within this habilitation organized along those axes is given in Figure 3.1.
Ce mémoire décrit l'essentiel de mon travail scientifique depuis la fin de ma thèse. Mes travaux sont centrés sur l'optimisation numérique dite "boîte-noire" à l'exception d'un article effectué durant mon séjour post-doctoral à l'ETH Zurich qui introduit un nouvel algorithme d'optimisation stochastique pour simuler des systèmes en chimie ou bio-chimie [23]. Les algorithmes d'optimisation au coeur de mon travail sont des algorithmes adaptatifs sansd érivées et stochastiques. Ils sont particulièrement adaptés à l'optimisation de problèmes difficiles dans des contextes oèu la fonction n'est accessible qu'à travers une \boîte-noire" retournant l'information d'ordre zero, c'est-à-dire que la seule information disponible et utilisable par l'algorithme sont les couples (points de l'espace de recherche, valeur de fonction objectif associée). Ce contexte est très courant dans l'industrie oèu les problèmes d'optimisation rencontrés font appel à des codes de simulations numériques pour lesquels, souvent, simplement un executable du code est disponible. L'aspect "sans-dérivées" est aussi très commun car le calcul d'un gradient (qui présuppose la fonction sous-jacente dérivable) sur des codes de simulations numériques, par exemple en utilisant une méthode d'adjoint ou de differentiation automatique peut ^etre couteux en temps de développement. Il est par ailleurs usuel que la formulation d'un problème d'optimisation change au fur et à mesure de sa résolution, adapter le code de calcul de gradient peut alors s'avérer très lourd et peut motiver l'utilisation d'une méthode d'optimisation boîte-noire. Ce contexte d'optimisation boîte-noire s'appelle également optimisation sans dérivées dans la communauté \mathematical programming" et l'acronyme anglais associé est DFO pour \derivative free optimization". Les méthodes qualifiées de DFO sont généralement deterministes. Les méthodes DFO les plus connues à l'heure actuelle sont l'algorithme du simplexe ou de Nelder- Mead [79, 77], les algorithmes de "pattern search" [54, 90, 6] et l'algorithme NEWUOA (NEW Unconstraint Optimization Algorithm) développé par Powell [82, 81]. Ce dernier algorithme est à l'heure actuelle considéré comme l'algorithme DFO déterministe état de l'art. Mon travail porte ainsi sur des méthodes DFO au sens littéral du terme. En revanche, les méthodes auxquelles je me suis intéressées ont une large composante stochastique et ont été développées dans la communauté des algorithmes bio-inspirés qui se compose essentiellement d'ingénieurs et d'informaticiens. Les premiers algorithmes ont été introduits dans les années 70. Un parallèle entre la théorie de Darwin de l'évolution des espèces et l'optimisation a servi à l'origine de source d'inspiration pour leur développement. A l'heure actuelle, ce domaine des méthodes bio-inspirées est également appelé \Evolutionary Computation". Un terme générique pour les algorithmes est algorithme évolutionnaire (EA). Pour beaucoup de chercheurs (dont je fais partie) dans ce domaine, l'aspect bio-inspiré n'est plus présent et le développement des algorithmes est seulement motivé par des considérations mathématiques et numériques. Parmi les algorithmes évolutionnaires, les algorithmes génétiques (GA) sont probablement encore les plus célèbres en dehors de la communauté EC. En revanche, les GAs ne sont pas des algorithmes compétitifs pour l'optimisation numérique{ce fait est reconnu depuis plus d'une dizaine d'années. Les strategies d'évolutions (ES), introduites à la fin des annéees 70 [83], se sont imposées comme les algorithmes évolutionnaires pour l'optimisation numérique. A l'heure actuelle, l'algorithme ES le plus abouti est l'algorithme Covariance Matrix Adaptation Evolution Strategy (CMA-ES) [50]. L'algorithme adapte un vecteur Gaussien (paramétré par vecteur moyenne et matrice de covariance) qui encode la métrique sous-jacente. Cette métrique apprend sur des fonctions convexes quadratiques l'information d'ordre 2, c'est à dire que la matrice de covariance devient proportionnelle à l'inverse de la matrice Hessienne. Ainsi, CMA-ES peut ^etre vu comme le pendant stochastique d'une méthode de quasi-Newton. Une particularité essentielle de CMA-ES et des ES en général est d^u au fait qu'ils n'utilisent que des comparaisons pour les difrérentes mises à jour. Plus précisément, nous avons vu que les ESs sont des algorithmes d'optimisation sans dérivées, ils n'utilisent cependant qu'une information \dégradée" de ce que la boîte-noire leur fournit, à savoir simplement le résultat de la comparaison des solutions candidates, i.e. étant donné deux solutions x1 et x2, est ce que f(x1) est plus grand ou plus petit que f(x2). En conséquence ils optimisent de la m^eme façcon une fonction f : Rn ! R ou n'importe quelle fonction g o f où g : f(Rn) ! R est une fonction strictement croissante: ils sont invariants à la composition à gauche par une fonction monotone strictement croissante. L'algorithme CMA-ES est reconnu comme la méthode état de l'art pour l'optimisation stochastique numérique. Il est utilisé dans de nombreuses applications dans l'industrie ou dans le monde académique. Pour des raisons historiques, les algorithmes ESs ont été développés dans la communauté EC où la mise au point d'un algorithme est la plupart du temps découplée du soucis de prouver un théorème de convergence sur la méthode et repose essentiellement sur l'utilisation de modèles mathématiques approximatifs simplifiés et de simulations numériques sur des fonctions tests. Bien que ce découplage entre mise au point pratique et théorie puisse ^etre vu comme un inconvenient, il présente l'avantage que le développement d'une méthode n'est pas restreinte (ou bridée) par une contrainte technique liée à une preuve mathématique. Cela a permis à un algorithme comme CMA-ES de voir le jour bien avant que l'on comprenne certains de ses fondements théoriques et bien avant que l'on puisse établir une preuve de convergence. En revanche, cela implique aussi que les études théoriques de convergence par exemple s'avèrent relativement compliquées. Ma recherche se situe dans ce contexte général: je suis particulièrement intéressée par l'étude mathématique d'algorithmes adaptatifs stochastiques comme les algorithmes ESs (en particulier CMA-ES) et par l'établissement de preuves de convergence. Ces algorithmes ont une particularit é attractive: bien qu'introduits dans un contexte où les performances pratiques sont plus importantes que les preuves théoriques, ils s'avèrent avoir des fondements mathématiques profonds liés en particulier aux notions d'invariance et de géométrie de l'information. Par ailleurs, ils s'inscrivent dans le cadre plus général d'algorithmes d'approximation stochastique et ils sont fortement connectés aux méthodes Monte-Carlo par chaînes de Markov (MCMC). Ces deux derniers points fournissent des outils mathématiques puissants pour établir des preuves de convergence (linéaire). La comprehension de ces fondements et connexions est reliée en partie à mon travail comme cela sera illustré dans ce mémoire. J'ai abordé plusieurs facettes de l'optimisation numérique. Bien que l'essentiel de mes travaux porte sur l'optimisation mono-objectif, i.e. minimizer f : X Rn ! R, j'ai également travaill é en optimisation multi-objectif, i.e. où l'on s'intéresse à minimiser une fonction vectorielle f : X Rn ! Rk. Dans ce cas là, la notion d'optimum est remplacée par celle d'ensemble de points de Pareto composé des meilleurs compromis possibles. Mes contributions portent sur l'étude d'algorithmes à base d'hypervolume qui quantifient la qualité d'un ensemble de solutions en calculant le volume compris entre les solutions et un point de reference. Les algorithmes utilisant l'hypervolume sont à l'heure actuelle les algorithmes état de l'art. Nous avons pu établir des caractérisations théoriques de l'ensemble des solutions optimales au sens de l'hypervolume. En optimisation mono-objectif, j'ai travaillé sur l'optimisation bruitée où étant donné un point de l'espace de recherche, on observe une distribution de valeurs de fonction objectif, sur l'optimisation à grande échelle où l'on s'intéresse à l'optimisation de problèmes avec de l'ordre de 104 à 106 variables et sur l'optimisation sous contrainte. Mes travaux s'articulent autour de trois grands axes: théorie / nouveaux algorithmes / applications (voir Figure 3.1). Ces trois axes sont complémentaires et couplés: par exemple, la mise au point de nouveaux algorithmes repose sur l'établissement de bornes théoriques de convergence et est ensuite complémentée par des simulations numériques. Ceci est illustré au Chapitre 6. Par ailleurs le développement d'algorithmes pour l'optimisation en grande dimension repose sur la connexion entre CMA-ES et la géométrie de l'information (voir Chapitre 4). Un autre exemple de complémentarité est le suivant: les applications abordées notamment pour l'optimisation du placement de puits de pétrole ont motivé l'introduction de nouvelles variantes de CMA-ES (voir Chapitre 9). Par ailleurs, une partie non négligeable de mes travaux porte sur le test (benchmarking) d'algorithmes. La motivation principale est d'améliorer les méthodologies pour tester et comparer les algorithmes d'optimisation numériques. Ces travaux ont été accompagnés du développement d'une plateforme, Comparing COntinuous Optimizers (COCO) et ont un impact maintenant sur la mise au point de nouveaux algorithmes mais également sur le test d'hypothèses théoriques.
Fichier principal
Vignette du fichier
habilitationAugerFeb2017.pdf (1.88 Mo) Télécharger le fichier

Dates and versions

tel-01468781 , version 1 (15-02-2017)


  • HAL Id : tel-01468781 , version 1


Anne Auger. Thèse d'habilitation à diriger des recherches "Analysis of Comparison-based Stochastic Continuous Black-Box Optimization Algorithms" . Numerical Analysis [cs.NA]. University Paris Sud, 2016. English. ⟨NNT : ⟩. ⟨tel-01468781⟩
484 View
187 Download


Gmail Facebook Twitter LinkedIn More