O Balanceamento de Réplicas no HDFS frente a aplicações com uso intensivo de E/S, dados e CPU - Inria - Institut national de recherche en sciences et technologies du numérique
Communication Dans Un Congrès Année : 2021

O Balanceamento de Réplicas no HDFS frente a aplicações com uso intensivo de E/S, dados e CPU

Résumé

A replicação de dados é essencial para o sistema de arquivos distribuído do Apache Hadoop (HDFS). Para garantir alta confiabilidade, disponibilidade e desempenho, as réplicas precisam estar armazenadas de forma otimizada pelos nodos do cluster. Entretanto, quando os nodos armazenam quantidades desproporcionais de dados, o funcionamento do sistema é afetado. Visando mitigar os problemas inerentes do desbalanceamento de réplicas, o HDFS Balancer é a solução oficial disponibilizada para a redistribuição dos dados já armazenados no cluster. Neste trabalho, nós avaliamos a efetividade do HDFS Balancer e como o sistema de arquivos explora a localidade dos dados em diferentes situações. Para uma análise aprofundada, aplicações com comportamentos distintos foram consideradas. Os resultados demonstram que o balanceamento de réplicas possibilita otimizações de desempenho significativas no HDFS.

Dates et versions

hal-03855538 , version 1 (16-11-2022)

Identifiants

Citer

Rhauani Weber Aita Fazul, Patrícia Pitthan Barcelos. O Balanceamento de Réplicas no HDFS frente a aplicações com uso intensivo de E/S, dados e CPU. Anais Estendidos do Simpósio Brasileiro de Engenharia de Sistemas Computacionais, Nov 2021, Florianópolis (Online), Brazil. pp.98-103, ⟨10.5753/sbesc_estendido.2021.18499⟩. ⟨hal-03855538⟩
9 Consultations
0 Téléchargements

Altmetric

Partager

More