Efficient use of sparsity by direct solvers applied to 3D controlled-source EM problems
Exploitation efficace du creux dans les solveurs directs sur des problèmes d’électromagnétisme 3D à source contrôlée
Résumé
Controlled-source electromagnetic (CSEM) surveying becomes a widespreadmethod for oil and gaz exploration, which requires fast and efficient software for invertinglarge-scale EM datasets. In this context, one often needs to solve sparse systems of linearequations with a large number of sparse right-hand sides, each corresponding to a giventransmitter position. Sparse direct solvers are very attractive for these problems, especiallywhen combined with low-rank approximations which significantly reduce the complexityand the cost of the factorization. In the case of thousands of right-hand sides, the timespent in the sparse triangular solve tends to dominate the total simulation time and herewe propose several approaches to reduce it. A significant reduction is demonstrated formarine CSEM application by utilizing the sparsity of the right-hand sides (RHS) and ofthe solutions that results from the geometry of the problem. Large gains are achievedby restricting computations at the forward substitution stage to exploit the fact that theRHS matrix might have empty rows (vertical sparsity) and/or empty blocks of columnswithin a non-empty row (horizontal sparsity). We also adapt the parallel algorithms thatwere designed for the factorization to solve-oriented algorithms and describe performanceoptimizations particularly relevant for the very large numbers of right-hand sides of theCSEM application. We show that both the operation count and the elapsed time for thesolution phase can be significantly reduced. The total time of CSEM simulation can bedivided by approximately a factor of 3 on all the matrices from our set (from 3 to 30million unknowns, and from 4 to 12 thousands RHSs).
L’électromagnétisme à source controlée (CSEM) est une méthode de plus enplus utilisée pour l’exploration du gaz et du pétrole. L’inversion des données électromagné-tiques nécessite souvent la résolution de systèmes d’équations linéaires avec un grand nombrede seconds membres creux, chacun correspondant à la position d’une source/d’un émetteur dansl’application. Les solveurs creux directs sont très attrayants pour ce type de problèmes, surtoutlorsqu’ils sont combinés avec des approximations de rang faible qui réduisent la complexité etle coût de la factorisation. Comme il peut y avoir des milliers de seconds membres, le coût dela phase de résolution devient alors prédominant.Dans cet article, nous montrons qu’il est possible d’exploiter la géométrie du problème et lastructure creuse qui apparaît à la fois dans les seconds membres et dans la matrice des solutionset que cela peut avoir un impact important sur les performances des phases de résolutions trian-gulaires. Pour cela, nous organisons les calculs de manière à minimiser le nombre d’opérations,tout en traitant les seconds membres par blocs qui tiennent en mémoire et qui visent à conserverau mieux le parallélisme lors de la phae de résolution. Nous adaptons aussi les algorithmes deplacement et d’équilibrage de charge de la factorisation à la phase de résolution et, motivés parle grand nombre de seconds membres, montrons qu’il est aussi possible d’améliorer la localitédes données et l’exploitation des threads au sein de chaque processus MPI. Au final, le tempstotal de la simulation CSEM peut être divisé par un facteur aux alentours de 3 sur 900 cœursde calcul pour tous les systèmes linéaires de notre étude (de 3 à 30 millions d’inconnues et de4 000 à 12 000 RHS).
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...