Stratégie de découpe de tâche pour le traitement de données massives
Résumé
MapReduce is a design pattern for processing large data sets distributed on a cluster. Its performances are linked to data skews. In order to tackle the latter, we propose an adaptive multi-agent. The agents interact during the job and the dynamic tasks allocation is the outcome of negotiations in order to relieve the most loaded agent and so the running time. In this paper, we show how, when a task is too expensive to be negotiated, an agent can split it in order to negotiate its sub-tasks.
MapReduce est un patron de conception permettant de traiter un très grand volume de données distribuées sur un cluster de machines. Ses performances sont liées aux éventuelles dis-torsions des données. Pour contrer ces biais, nous proposons un système multi-agent adaptatif. Les agents interagissent durant l'exécution et l'allocation dynamique des tâches est le résultats de négociations afin de soulager l'agent le plus chargé et donc le temps global d'exécution. Dans cet article nous montrons comment, lorsqu'une tâche est trop coûteuse pour être négociée, un agent peut la découper afin d'en négocier les sous-tâches.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...