Non-clairvoyant reduction algorithms for heterogeneous platforms - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports (Research Report) Year : 2013

Non-clairvoyant reduction algorithms for heterogeneous platforms

Abstract

We revisit the classical problem of the reduction collective operation in a heterogeneous environment. We discuss and evaluate four algorithms that are non-clairvoyant, i.e., they do not know in advance the computation and communication costs. On the one hand, \bins and \fibo are static algorithms that decide in advance which operations will be reduced, without adapting to the environment; they were originally defined for homogeneous settings. On the other hand, \dyn and \dynnc are fully dynamic algorithms, for commutative or non-commutative reductions. With identical computation costs, we show that these algorithms are approximation algorithms. When costs are exponentially distributed, we perform an analysis of \dyn based on Markov chains. Finally, we assess the relative performance of all four non-clairvoyant algorithms with heterogeneous costs though a set of simulations.
Nous revisitons le problème classique de la primitive de communication collective de réduction dans le cadre d'un environnement hétérogène. Nous présentons et analysons quatre algorithmes non-clairvoyants, c'est-à-dire qui ne connaissent pas les coûts de calcul et de communication. D'un côté, \bins et \fibo sont des algorithmes statiques qui décident a priori de l'arbre de réduction, sans pouvoir s'adapter à l'environnement au cours de la réduction. D'un autre côté, \dyn et \dynnc sont des algorithmes complètement dynamiques pour les réductions commutatives ou non-commutatives. Lorsque les coûts de calcul sont constants, nous montrons que les algorithmes commutatifs admettent des facteurs d'approximation. Lorsque les coûts de calcul et/ou de communication sont distribués selon une loi exponentielle, nous analysons \dyn à l'aide des chaînes de Markov. Enfin, nous comparons les performances des quatre algorithmes dans un environnement hétérogène à l'aide de simulations.
Fichier principal
Vignette du fichier
RR-8315.pdf (873.54 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-00832102 , version 1 (10-06-2013)
hal-00832102 , version 2 (10-06-2013)
hal-00832102 , version 3 (11-06-2013)

Identifiers

  • HAL Id : hal-00832102 , version 3

Cite

Anne Benoit, Louis-Claude Canon, Loris Marchal. Non-clairvoyant reduction algorithms for heterogeneous platforms. [Research Report] RR-8315, INRIA. 2013. ⟨hal-00832102v3⟩
340 View
214 Download

Share

Gmail Facebook X LinkedIn More