Checkpointing strategies to protect parallel jobs from non-memoryless fail-stop errors - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Reports Year : 2022

Checkpointing strategies to protect parallel jobs from non-memoryless fail-stop errors

Stratégies de checkpoint pour protéger les tâches parallèles contre des erreurs ayant des distributions générales

Abstract

This paper studies checkpointing strategies for parallel jobs subject to fail-stop errors. The optimal strategy is well known when failure inter-arrival times obey an Exponential law, but it is unknown for non-memoryless failure distributions. We explain why the latter fact is misunderstood in recent literature. We propose a general strategy that maximizes the expected efficiency until the next failure, and we show that this strategy is asymptotically optimal for very long jobs. Through extensive simulations, we show that the new strategy is always at least as good as the Young/Daly strategy for various failure distributions. For distributions with a high infant mortality (such as LogNormal 2.51 or Weibull 0.5), the execution time is divided by a factor 1.9 on average, and up to a factor 4.2 for recently deployed platforms.
Cet article étudie les stratégies de checkpoint pour des tâches parallèles sujettes `a des erreurs fatales. La stratégie optimale est bien connue lorsque les temps d’inter-arrivée des pannes obéissent `a une loi exponentielle, mais elle est inconnue pour les distributions d’erreurs générales. Nous expliquons pourquoi ce dernier fait est mal compris dans la littérature récente. Nous proposons une stratégie générale qui maximise l’efficacité attendue jusqu’`a la prochaine d´défaillance, et nous montrons que cette stratégie est asymptotiquement optimale pour les travaux très longs. Par des simulations extensives, nous montrons que la nouvelle stratégie est toujours au moins aussi bonne que la stratégie de Young/Daly pour diverses distributions de pannes. Pour les distributions avec une mortalité infantile élevée (comme LogNormal 2.51 ou Weibull 0.5), le temps d’exécution est divisé par un facteur 1.9 en moyenne, et jusqu’`a un facteur 4.2 pour des plates-formes récemment déployées.
Fichier principal
Vignette du fichier
RR-9465.pdf (1.34 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03610883 , version 1 (16-03-2022)
hal-03610883 , version 2 (25-04-2022)

Identifiers

  • HAL Id : hal-03610883 , version 2

Cite

Anne Benoit, Lucas Perotin, Yves Robert, Frédéric Vivien. Checkpointing strategies to protect parallel jobs from non-memoryless fail-stop errors. [Research Report] RR-9465, Inria - Research Centre Grenoble – Rhône-Alpes. 2022, pp.42. ⟨hal-03610883v2⟩
97 View
95 Download

Share

Gmail Facebook X LinkedIn More