Revisiting I/O bandwidth-sharing strategies for HPC applications - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Rapport Année : 2023

Revisiting I/O bandwidth-sharing strategies for HPC applications

Stratégies de partage de la bande passante d’entrée-sortie entre applications de calcul haute performance

Résumé

This work revisits I/O bandwidth-sharing strategies for HPC applications. When several applications post concurrent I/O operations, well-known approaches include serializing these operations (First-Come First-Served) or fair-sharing the bandwidth across them (FairShare). Another recent approach, I/O-Sets, assigns priorities to the applications, which are classified into different sets based upon the average length of their iterations. We introduce several new bandwidth-sharing strategies, some of them simple greedy algorithms, and some of them more complicated to implement, and we compare them with existing ones. Our new strategies do not rely on any a-priori knowledge of the behavior of the applications, such as the length of work phases, the volume of I/O operations, or some expected periodicity. We introduce a rigorous framework, namely steady-state windows, which enables to derive bounds on the competitive ratio of all bandwidth-sharing strategies for three different objectives: minimum yield, platform utilization, and global efficiency. To the best of our knowledge, this work is the first to provide a quantitative assessment of the online competitiveness of any bandwidth-sharing strategy. This theory-oriented assessment is complemented by a comprehensive set of simulations, based upon both synthetic and realistic traces. The main conclusion is that two of our simple and low-complexity greedy strategies significantly outperform First-Come First-Served, FairShare and I/O-Sets, and we recommend that the I/O community implements them for further assessment.
Ce travail revisite les stratégies de partage de la bande passante d’entrée-sortie entre applications de calcul haute performance. Quand plusieurs applications postent simultanément des opérations d’entrée-sortie, les approches classiques incluent la sérialisation de ces opérations (FCFS) et le partage équitable de la bande passante (FairShare). Une approche récente, I/O-Sets, attribue des priorités aux applications, qui sont classées en différents ensembles basés sur la longueur moyenne de leurs itérations. Nous introduisons plusieurs stratégies nouvelles de partage de la bande passante, de simples heuristiques gloutonnes et des stratégies plus compliquées à implémenter, et nous les comparons aux solutions préexistantes. Nos stratégies n’utilisent aucune connaissance a priori du comportement des applications, telle que la longueur des phases de calcul, le volume des entrées-sorties, ou leur périodicité. Nous introduisons un cadre rigoureux, les fenêtres de régime permanent, qui permet de définir des bornes sur le facteur de compétitivité de toutes les stratégies de partage de la bande passante, et ce pour trois objectifs: le yield (rendement) minimal, l’utilisation de la plateforme, et l’efficacité globale. À notre connaissance, ce travail est le premier à proposer une évaluation quantitative du facteur de compétitivité de stratégies de partage de la bande passante. Cette évaluation théorique est complétée par un ensemble de simulations, utilisant des traces synthétiques et d’autres réalistes. La principale conclusion de ces simulations est que deux de nos simples heuristiques gloutonnes de faible complexité obtiennent de bien meilleures performances que FCFS, FairShare et I/O-Sets. Nous recommandons donc que la communauté les implémente afin de permettre leur évaluation en pratique.
Fichier principal
Vignette du fichier
RR-9502.pdf (3 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04038011 , version 1 (20-03-2023)
hal-04038011 , version 2 (07-04-2023)
hal-04038011 , version 3 (15-08-2023)

Licence

Paternité

Identifiants

  • HAL Id : hal-04038011 , version 3

Citer

Anne Benoit, Thomas Herault, Lucas Perotin, Yves Robert, Frédéric Vivien. Revisiting I/O bandwidth-sharing strategies for HPC applications. RR-9502 v3, INRIA. 2023, pp.57. ⟨hal-04038011v3⟩
137 Consultations
114 Téléchargements

Partager

Gmail Facebook X LinkedIn More