Evaluation of Meta-scheduler Architectures and Task Assignment Policies for High Throughput Computing
Résumé
In this paper we present a model and simulator for many clusters of heterogeneous PCs belonging to a local network. These clusters are assumed to be connected to each other through a global network and each cluster is managed via a local scheduler which is shared by many users. We validate our simulator by comparing the experimental and analytical results of a M/M/4 queuing system. These studies indicate that the simulator is consistent. Next, we do the comparison with a real batch system and we obtain an average error of 10.5% for the response time and 12% for the makespan. We conclude that the simulator is realistic and well describes the behaviour of a large-scale system. Thus we can study the scheduling of our system in a high throughput context. We justify our decentralized, adaptive and opportunistic approach in comparison to a centralized approach in such a context.
Dans cet article, nous pr ́esentons une mod ́elisation et un simulateur de grandssyst`emes de calcul distribu ́e. Une telle plate-forme se compose de grappes dePCs h ́et ́erog`enes appartenant `aunr ́eseau local inter-connect ́ees entre elles parun r ́eseau global. Ces grappes sont accessibles via un ordonnanceur local etsont partag ́ees entre les utilisateurs. La confrontation du simulateur avec lesr ́esultats th ́eoriques d’un syst`eme M/M/4 nous permet de conclure qu’il estanalytiquement valide. Une deuxi`eme confrontation avec un syst`eme batch r ́eel,nous donne une diff ́erence moyenne de 10.5 % par rapport `alar ́ealit ́epourlestemps de r ́eponse et de 12% pour le makespan. Notre simulateur est donc r ́ea-liste et d ́ecrit le comportement d’un syst`eme de batch r ́eel. Fort de cet outil,nous avons analys ́e l’ordonnancement de notre syst`eme (appel ́eDIRAC)dansun contexte de calcul intensif. Nous avons justifi ́e l’approche distribu ́ee, adap-tative et opportuniste utilis ́ee dans notre syst`eme par rapport `a une approchecentralis ́ee.
Fichier principal
RR-5576.pdf (278.7 Ko)
Télécharger le fichier
LIP-RR2005-27.pdf (299.26 Ko)
Télécharger le fichier
Loading...