Modeling Memory Contention between Communications and Computations in Distributed HPC Systems (Extended Version) - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports Year : 2022

Modeling Memory Contention between Communications and Computations in Distributed HPC Systems (Extended Version)

Modélisation de la contention mémoire entre les communications et les calculs sur les systèmes HPC distribués (version étendue)

Abstract

To amortize the cost of MPI communications, distributed parallel HPC applications can overlap network communications with computations in the hope that it improves global application performance. When using this technique, both computations and communications are running at the same time. But computation usually also performs some data movements. Since data for computations and for communications use the same memory system, memory contention may occur when computations are memory-bound and large messages are transmitted through the network at the same time. In this paper we propose a model to predict memory bandwidth for computations and for communications when they are executed side by side, according to data locality and taking contention into account. Elaboration of the model allowed to better understand locations of bottleneck in the memory system and what are the strategies of the memory system in case of contention. The model was evaluated on many platforms with different characteristics, and showed a prediction error in average lower than 4 %.
Pour amortir le coût des communications MPI, les applications HPC distribuées et parallèles peuvent recouvrir les communications réseau par des calculs, dans l'espoir d'améliorer les performances globales de l'application. L'utilisation de cette technique implique d'exécuter en même temps des calculs et des communications. Généralement, les calculs causent des déplacements de données. Puisque les données pour les calculs et celles pour les communications circulent au sein du même système gérant la mémoire, de la contention peut se produire dans ce système lorsque les calculs sont limités par les données et les communications échangent des messages de taille importante. Nous proposons dans ce papier un modèle pour prédire le débit mémoire accordé aux calculs et aux communications lorsqu'ils sont exécutés en parallèle. Ce modèle prend en compte le placement des données et la contention mémoire. L'élaboration de ce modèle nous a permis de mieux comprendre quels sont les composants du système mémoire les plus sujets à la contention, et quelles sont les stratégies mises en œuvre par le système pour gérer cette dernière. Le modèle a été évalué sur plusieurs machines avec différentes caractéristiques et ses prédictions ont une erreur en moyenne inférieure à 4 %.
Fichier principal
Vignette du fichier
RR-9451.pdf (1.62 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-03564751 , version 1 (10-02-2022)
hal-03564751 , version 2 (31-05-2022)

Identifiers

  • HAL Id : hal-03564751 , version 2

Cite

Alexandre Denis, Emmanuel Jeannot, Philippe Swartvagher. Modeling Memory Contention between Communications and Computations in Distributed HPC Systems (Extended Version). [Research Report] RR-9451, INRIA Bordeaux, équipe TADAAM. 2022, pp.34. ⟨hal-03564751v2⟩
198 View
221 Download

Share

Gmail Mastodon Facebook X LinkedIn More