Implementation of an unbalanced I/O Bandwidth Management system in a Parallel File System
Implémentation d'un ordonnancement déséquilibré d'E/S dans un système de fichiers parallèle
Résumé
In this report, we discuss a BeeGFS-based implementation of the IO-Sets method for I/O scheduling in HPC systems. I/O scheduling is a technique to mitigate contention in the access to the shared parallel file system. Despite its popularity in the literature, most proposed I/O scheduling techniques are not used in practice due to the difficulty of obtaining the needed information and due to overhead concerns. Compared to other techniques, IO-Sets uses little information on the applications, which makes it attractive to be used in practice. In this context, we chose to implement it inside the parallel file system to make it transparent to applications,
and without a centralized control. That means relaxing the method, but mitigates its limitations regarding overhead and fault tolerance. We discuss the implementation in details and present preliminary results.
Dans ce rapport, nous présentons une implémentation basée sur BeeGFS de la méthode IO-Sets pour l’ordonnancement d’E/S dans les systèmes HPC. L’ordonnancement d’E/S est une technique qui permet d’atténuer la contention dans l’accès au système de fichiers
parallèle partagé. Malgré leur popularité dans la littérature, la plupart des techniques d’ordonnancement d’E/S proposées ne sont pas utilisées en pratique en raison de la difficulté d’obtenir les informations nécessaires et des surcouts. Par rapport à d’autres techniques, IO-Sets utilise peu d’informations sur les applications, ce qui rend son utilisation pratique attrayante. Dans ce contexte, nous avons choisi de la mettre en œuvre à l’intérieur du système de fichiers parallèle pour la rendre transparente pour les applications et sans contrôle centralisé. Cela assouplit la méthode, mais atténue ses limites en termes de surcharge et de tolérance aux pannes. Nous discutons de la mise en œuvre en détail et présentons des résultats préliminaires.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
