Improving Cluster IO Performance with Remote Efficient Access to Distant Device
Résumé
Grand challenge applications often need to process large amounts of data so high performance IO systems are needed. Cluster computing is a good approach to build cost effective IO intensive platform: sort benchmark records (MinuteSort, Datamation) are held by cluster architecture! New advances in IO technologies (disk, controller and network) let expected significant performance improvements for data intensive applications on cluster architectures. The counterpart of this evolution is that more stress is put on the different shared buses of each node. In this paper we investigate a solution to reduce the bus pressures to improve IO performance we called \textsc{read}$^2$ (Remote Efficient Access to Distant Device). With \textsc{read}$^2$, a cluster node is able to directly access to a remote disk without interfering with the remote processor and remote memory. With \textsc{read}$^2$, a cluster can be considered as a \emph{shared disk} architecture instead of a \emph{shared nothing} one, and inherits works from the SAN community. This papers presents what are the architectural benefits of \textsc{read}$^2$, i.e. a better use of IO and memory buses which may improve performance of streaming application.
L'utilisation des grappes pour des applications traitant de grandes masses de connées est une approche séduisante. Par exemple, les meilleurs performances pour les tests de tri (Datamation, MinuteSort) sont aujourd'hui obtenues avec ce type d'architecture. Les dernières évolutions des périphériques d'entrées/sorties (disques, contrôleur, réseau) laisse espérer des améliorations sensibles des performances. la contrepartie de cette évolution est qu'une pression de plus en plus forte est mise su le maillon faible des nœuds : les bus. Dans cet article, nous proposons une technique pour réduire cette pression et repousser les limites de performance que nous appelons READ : nous employons les nouvelles capacités d'accès des cartes réseaux à l'espace d'adressage IO des bs d'entrées/sorties pour pilote directement les disques distants sans interférer avec le nœud hôte. Une grappe peut alors être considérée comme une architecture où les disques sont entièrement partagés par l'ensemble des nœuds. Ce papier présente une étude préliminaire sur les principaux bénéfices que permet une telle approche : une meilleure utilisation des ressources d'entrées/sorties et une amélioration des performances globales des applications traitant de grand flot de données
Fichier principal
RR-4401.pdf (284.22 Ko)
Télécharger le fichier
RR2002-11.pdf (315.12 Ko)
Télécharger le fichier