Allocation équitable de tâches pour l'analyse de données massives
Résumé
Many companies are using MapReduce applications to process very large amounts of data. In order to optimize the task allocation, several systems collect data from previous runs and predict the performance doing job profiling. However they are not effective during the learning phase, or when a new kind of job or data set appears. In this paper, we present an adaptive multiagent system for large data sets analysis with MapReduce. We do not preprocess data but we adopt a dynamic approach, where the reducer agents interact during the job. In order to decrease the workload of the most loaded reducer - and so the running time - we propose a task re-allocation based on negotiation. We prove that the negotiation process terminates and leads to a better task allocation. Our experimentations over real-world data confirm the added-value of negotiation.
De nombreuses entreprises utilisent des applications MapReduce pour le traitement de données massives. Afin d'optimiser l'allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse du job. Cependant, ces systèmes ne sont pas efficaces durant la phase d'apprentissage ou quand un nouveau type de tâches ou de données apparaît. Dans cet article, nous présentons un système multi-agent adaptatif pour l'analyse de données massives avec MapReduce. Nous ne prétraitons pas les données mais nous adoptons une approche dynamique où les agents reducers interagissent au cours de l'exécution. Pour réduire la charge de travail du reducer le plus chargé, et donc le temps d'exécution, nous proposons une réallocation des tâches qui s'appuie sur la négociation. Nous prouvons que le processus de négociation se termine et mène à une meilleure répartition des tâches. Nos expérimentations sur des données réelles confirment la valeur ajoutée de la négociation.