Checkpointing strategies to protect parallel jobs from non-memoryless fail-stop errors - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Rapport Année : 2022

Checkpointing strategies to protect parallel jobs from non-memoryless fail-stop errors

Stratégies de checkpoint pour protéger les tâches parallèles contre des erreurs ayant des distributions générales

Résumé

This paper studies checkpointing strategies for parallel jobs subject to fail-stop errors. The optimal strategy is well known when failure inter-arrival times obey an Exponential law, but it is unknown for non-memoryless failure distributions. We explain why the latter fact is misunderstood in recent literature. We propose a general strategy that maximizes the expected efficiency until the next failure, and we show that this strategy is asymptotically optimal for very long jobs. Through extensive simulations, we show that the new strategy is always at least as good as the Young/Daly strategy for various failure distributions. For distributions with a high infant mortality (such as LogNormal 2.51 or Weibull 0.5), the execution time is divided by a factor 1.9 on average, and up to a factor 4.2 for recently deployed platforms.
Cet article étudie les stratégies de checkpoint pour des tâches parallèles sujettes `a des erreurs fatales. La stratégie optimale est bien connue lorsque les temps d’inter-arrivée des pannes obéissent `a une loi exponentielle, mais elle est inconnue pour les distributions d’erreurs générales. Nous expliquons pourquoi ce dernier fait est mal compris dans la littérature récente. Nous proposons une stratégie générale qui maximise l’efficacité attendue jusqu’`a la prochaine d´défaillance, et nous montrons que cette stratégie est asymptotiquement optimale pour les travaux très longs. Par des simulations extensives, nous montrons que la nouvelle stratégie est toujours au moins aussi bonne que la stratégie de Young/Daly pour diverses distributions de pannes. Pour les distributions avec une mortalité infantile élevée (comme LogNormal 2.51 ou Weibull 0.5), le temps d’exécution est divisé par un facteur 1.9 en moyenne, et jusqu’`a un facteur 4.2 pour des plates-formes récemment déployées.
Fichier principal
Vignette du fichier
RR-9465.pdf (1.34 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03610883 , version 1 (16-03-2022)
hal-03610883 , version 2 (25-04-2022)

Identifiants

  • HAL Id : hal-03610883 , version 2

Citer

Anne Benoit, Lucas Perotin, Yves Robert, Frédéric Vivien. Checkpointing strategies to protect parallel jobs from non-memoryless fail-stop errors. [Research Report] RR-9465, Inria - Research Centre Grenoble – Rhône-Alpes. 2022, pp.42. ⟨hal-03610883v2⟩
102 Consultations
99 Téléchargements

Partager

Gmail Facebook X LinkedIn More