In-Situ and In-Transit method : toward a continuum between interactive and offline applications.
Méthodes In-Situ et In-Transit : vers un continuum entre les applications interactives et offline à grande échelle.
Résumé
Parallel simulation has become a very useful tool in various scientific areas. In order to perform such simulations, large parallel machines are required. The computational power of these machine continues to grow, allowing scientists to construct larger and larger models. However, the I/O systems, used to store the data produced by simulation, have not improved at the same pace. Currently, it is already difficult for scientist to store all the accumulated data and to have enough computational power later on to process them. Yet, these data are the key toward major scientific discoveries.
In-situ treatments are a promising solution to this problem. The idea is to analyze the data while the simulation is still running and the data are still living in memory. This approach allows avoiding the I/O bottleneck as well as taking benefit of the computational power provided by a supercomputer to perform the analysis. In this thesis, we propose to use the data flow paradigm to construct complex asynchronous in-situ applications. We use the middleware FlowVR to couple heterogeneous parallel codes and to form a graph. Our approach provides enough flexibility to facilitate various placement strategies for the analytics in order to minimize their impact on the simulation.
We applied our approach exemplarily to a well-known software from the field of molecular dynamics, Gromacs. With of the of biology experts, we designed several realistic scenarios in which we evaluated both the flexibility of our approach and the capability of our infrastructure to support each step of the biologists' analysis workflow.
Les simulations parallèles sont devenues des outils indispensables dans de nombreux domaines scientifiques. La puissance de calcul de ces machines n'a cessé de monter permettant ainsi le traitement de simulations de plus en plus imposantes. En revanche, les systèmes d'I/O nécessaires à la sauvegarde des données produites par les simulations ont suivit une croissance beaucoup plus faible. Actuellement déjà, il est difficile pour les scientifiques de sauvegarder l'ensemble des données désirées et d'avoir suffisamment de puissance de calcul pour les analyser par la suite. Ces données sont pourtant une des clés vers des découvertes scientifiques majeures.
Les traitements in-situ sont une solution prometteuse à ce problème. Le principe est d'effectuer des analyses alors que la simulation est en cours d'exécution et que les données sont encore en mémoire. Cette approche permet d'une part d'éviter le goulot d'étranglement au niveau des I/O mais aussi de profiter de la puissance de calcul offerte par les machines parallèles pour effectuer des traitements lourds.
Dans cette thèse, nous proposons d'utiliser le paradigme du dataflow pour permettre la construction d'applications in-situ complexes asynchrones. Pour cela, nous utilisons l'intergiciel FlowVR permettant de coupler des codes parallèles hétérogènes en formant un graphe. Nous proposons une approche avec suffisamment de flexibilité pour permettre plusieurs stratégies de placement des processus d'analyses que cela soit sur les nœuds de la simulation, sur des cœurs dédiés ou des nœuds dédiés. De plus, les traitements in-situ peuvent être exécutés de manière asynchrone permettant ainsi un faible impact sur les performances de la simulation.
Pour démontrer la flexibilité de notre approche, nous nous sommes intéressés au cas à la dynamique moléculaire et plus particulièrement Gromacs, un code de simulation de dynamique moléculaire couramment utilisé par les biologistes pouvant passer à l'échelle sur plusieurs milliers de coeurs. En étroite collaboration avec des experts du domaine biologique, nous avons construit plusieurs applications pour évaluer les performances et la flexibilité de notre approche.
Loading...