Implementation of an unbalanced I/O Bandwidth Management system in a Parallel File System - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2024

Implementation of an unbalanced I/O Bandwidth Management system in a Parallel File System

Implémentation d'un ordonnancement déséquilibré d'E/S dans un système de fichiers parallèle

Abstract

In this report, we discuss a BeeGFS-based implementation of the IO-Sets method for I/O scheduling in HPC systems. I/O scheduling is a technique to mitigate contention in the access to the shared parallel file system. Despite its popularity in the literature, most proposed I/O scheduling techniques are not used in practice due to the difficulty of obtaining the needed information and due to overhead concerns. Compared to other techniques, IO-Sets uses little information on the applications, which makes it attractive to be used in practice. In this context, we chose to implement it inside the parallel file system to make it transparent to applications, and without a centralized control. That means relaxing the method, but mitigates its limitations regarding overhead and fault tolerance. We discuss the implementation in details and present preliminary results.
Dans ce rapport, nous présentons une implémentation basée sur BeeGFS de la méthode IO-Sets pour l’ordonnancement d’E/S dans les systèmes HPC. L’ordonnancement d’E/S est une technique qui permet d’atténuer la contention dans l’accès au système de fichiers parallèle partagé. Malgré leur popularité dans la littérature, la plupart des techniques d’ordonnancement d’E/S proposées ne sont pas utilisées en pratique en raison de la difficulté d’obtenir les informations nécessaires et des surcouts. Par rapport à d’autres techniques, IO-Sets utilise peu d’informations sur les applications, ce qui rend son utilisation pratique attrayante. Dans ce contexte, nous avons choisi de la mettre en œuvre à l’intérieur du système de fichiers parallèle pour la rendre transparente pour les applications et sans contrôle centralisé. Cela assouplit la méthode, mais atténue ses limites en termes de surcharge et de tolérance aux pannes. Nous discutons de la mise en œuvre en détail et présentons des résultats préliminaires.
Fichier principal
Vignette du fichier
main.pdf (843.33 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04417412 , version 1 (15-02-2024)

Licence

Attribution

Identifiers

  • HAL Id : hal-04417412 , version 1

Cite

Clément Barthélemy, Francieli Zanon Boito, Emmanuel Jeannot, Guillaume Pallez, Luan Teylo. Implementation of an unbalanced I/O Bandwidth Management system in a Parallel File System. RR-9537, Inria. 2024. ⟨hal-04417412⟩
64 View
39 Download

Share

Gmail Facebook X LinkedIn More