Non-clairvoyant reduction algorithms for heterogeneous platforms
Résumé
In this paper, we revisit the classical problem of the reduction collective operation, in a dynamic and heterogeneous environment. We discuss and evaluate four algorithms. On the one hand, \bins and \fibo are static algorithms that decide in advance which operations will be reduced, without adapting to the environment; they were defined originally for homogeneous settings. On the other hand, \dyn and \dynnc are fully dynamic algorithms, for commutative or non-commutative reductions. With identical computation costs, we show that these algorithms are approximation algorithms with constant or asymptotic ratios. When costs are exponentially distributed, we perform an analysis of \dyn based on Markov chains. Finally, we assess the performance of the algorithms though a set of simulations.
Dans ce rapport, nous revisitons le problème classique de la primitive de communication collective de réduction dans le cadre d'un environnement dynamique et hétérogène. Nous présentons et analysons quatre algorithmes. D'un côté, \bins et \fibo sont des algorithmes statiques qui décident a priori de l'arbre de réduction, sans pouvoir s'adapter à l'environnement. D'un autre côté, \dyn et \dynnc sont des algorithmes complètement dynamiques pour les réductions commutatives ou non-commutatives. Avec des coûts de calcul constants, nous montrons que ces algorithmes ont des facteurs d'approximation constants ou asymptotiques. Lorsque les coûts de calcul et/ou de communication sont distribués selon une loi exponentielle, nous analysons \dyn à l'aide des chaînes de Markov. Enfin, nous comparons les performances de ces algorithmes dans un contexte dynamique à l'aide de simulations.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|