Efficient support for MPI-IO atomicity based on versioning - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2010

Efficient support for MPI-IO atomicity based on versioning

Viet-Trung Tran
  • Function : Author
  • PersonId : 885093
Bogdan Nicolae
  • Function : Author
  • PersonId : 862774
Gabriel Antoniu
Luc Bougé

Abstract

We consider the challenge of building data management systems that meet an important requirement of today's data-intensive HPC applications: to provide a high I/O throughput while supporting highly concurrent data accesses. In this context, many applications rely on MPI-IO and require atomic, non-contiguous I/O operations that concurrently access shared data. In most existing implementations the atomicity requirement is often implemented through locking-based schemes, which have proven inefficient, especially for non-contiguous I/O. We claim that using a versioning-enabled storage backend has the potential to avoid expensive synchronization as exhibited by locking-based schemes, which is much more efficient. We describe a prototype implementation on top of ROMIO along this idea, and report on promising experimental results with standard MPI-IO benchmarks specifically designed to evaluate the performance of non-contiguous, overlapped I/O accesses under MPI atomicity guarantees.
Nous considérons le défi de la construction des systèmes de gestion des données qui répondent a l'exigence importante des applications de calcul haut performance: fournir un haut débit d'E/S tout en assurant des accès simultanées aux données. Dans ce contexte, de nombreuses applications s'appuient sur MPI-IO et nécessitent l'atomicité des opérations non contigus opérations d'E/S pour manipuler l'accès aux données partagées. Dans la plupart des existants implémentations, l'atomicité de l'opération est souvent mis en œuvre en se basant sur les schémas de verrouillage, qui se sont avérées inefficaces, surtout pour les E/S non contigus. Nous affirmons que l'usage d'un versionning compatible stockage permet d'éviter la synchronisation présentée dans les techniques basées sur les verrouillages, donc il est beaucoup plus efficace. Nous décrivons un prototype d'un versioning compatible stockage qui est intégré a ROMIO, et en montrant les résultats des expérimentes avec des repères standard MPI-IO spécialement conçu pour évaluer les performances des accès d'E/S non contigus qui chevauchent sous la garantie d'atomicité de MPI.
Fichier principal
Vignette du fichier
RR-7487.pdf (262.97 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

inria-00546956 , version 1 (15-12-2010)

Identifiers

  • HAL Id : inria-00546956 , version 1

Cite

Viet-Trung Tran, Bogdan Nicolae, Gabriel Antoniu, Luc Bougé. Efficient support for MPI-IO atomicity based on versioning. [Research Report] RR-7487, INRIA. 2010, pp.24. ⟨inria-00546956⟩
175 View
271 Download

Share

Gmail Facebook X LinkedIn More