Road to exascale: Improving scheduling performances and reducing energy consumption with the help of end-users
En route vers l'exascale: améliorer les performances de l'ordonnancement et réduire la consommation énergétique avec l'aide des utilisateurs finaux
Résumé
The field of High Performance Computing (HPC) is characterized by the continuous evolution of computing architectures, the proliferation of computing resources and the increasing complexity of applications users wish to solve. One of the most important software of the HPC stack is the Resource and Job Management System (RJMS) which stands between the user workloads and the platform, the applications and the resources. This specialized software provides functions for building,submitting, scheduling and monitoring jobs in a dynamic and complex computing environment. In order to reach exaflops HPC systems, new constraints and objectives have been introduced. This thesis develops and tests the idea that the users of such systems can help reaching the exaflopic scale. Specifically, we show and introduce new techniques that employ users behaviors to improve energy consumption and overall cluster performances.
To test the proposed techniques, we need to develop new tools and methodologies that scale up to large HPC clusters. Thus, we designed adequate tools that assess new RJMS scheduling algorithms of such large systems. These tools are able to run on small clusters by emulating or simulating bigger platforms. After evaluating different techniques to measure the energy consumption of HPC clusters, we propose a new heuristic, based on the popular Easy Backfilling algorithm, in order to control the power consumption of such huge systems. We also demonstrate, using the same idea, how to control the energy consumption during a time period. The proposed mechanism is able to limit the energy consumption while keeping satisfying performances. If energy is a limited resource, it has to be shared fairly.
We also present a mechanism which shares energy consumption among users. We argue that sharing fairly the energy among users should motivate them to reduce the energy consumption of their applications. Finally, we analyze past and present behaviors of users using learning algorithms in order to improve the performances of the parallel platforms. This approach does not only outperform state of the art methods, it also shows promising insight on how such method can improve other aspects of RJMS.
Le domaine du calcul haute performance (i.e. la science des super-calculateurs) est caractérisé par l’évolution continuelle des architectures de calcul, la prolifération des ressources de calcul et la complexité croissante des problèmes que les utilisateurs veulent résoudre. Un des logiciels les plus importants de la pile logicielle des supercalculateurs est le Système de Gestion des Ressources et des Tâches. Il est le lien entre la charge de travail donnée par les utilisateurs et la plateforme de calcul. Ce type de logiciels spécialisés fournit des fonctions pour construire, soumettre, planifier et surveiller les tâches dans un environnent de calcul complexe et dynamique. Pour pouvoir atteindre des supercalculateurs exaflopiques, de nouvelles contraintes et objectifs ont été inventés. Cette thèse développe et teste l’idée que les utilisateurs de ces systèmes peuvent aider à atteindre l’échelle exaflopique. Spé- cifiquement, nous montrons des techniques qui utilisent les comportements des utilisateurs pour améliorer la consommation énergétique et les performances glob- ales des supercalculateurs.
Pour tester ces nouvelles techniques, nous avons besoin de nouveaux outils et méthodes qui sont capables d’aller jusqu’à l’échelle exaflopique. Nous proposons donc des outils qui permettent de tester de nouveaux algorithmes capables de s’exécuter sur ces systèmes. Ces outils sont capables de fonctionner sur de petits supercalculateurs en émulant ou simulant des systèmes plus puissants. Après avoir évalué différentes techniques pour mesurer l’énergie dans les supercalculateurs, nous proposons une nouvelle heuristique, basée sur un algorithme répandu (Easy Backfilling), pour pouvoir contrôler la puissance électrique de ces énormes systèmes.
Nous montrons aussi comment, en utilisant la même méthode, contrôler la consommation énergétique pendant une période de temps. Le mécanisme proposé peut limiter la consommation énergétique tout en gardant des performances satisfaisantes. Si l’énergie est une ressource limitée, il faut la partager équitablement. Nous présentons de plus un mécanisme permettant de partager la consommation énergétique entre les utilisateurs. Nous soutenons que cette méthode va motiver les utilisateurs à réduire la consommation énergétique de leurs calculs. Finalement, nous analysons le comportement actuel et passé des utilisateurs pour améliorer les performances des supercalculateurs. Cette approche non seulement surpasse les performances des travaux existants, mais aussi ouvre la voie à l’utilisation de méthodes semblables dans d’autres aspects des Systèmes de Gestion des Ressources et des Tâches.