In-Situ Tasks / Data Analysis Applied to Seven Dwarfs in HPC

Abstract

[EN] The thesis "In-Situ Tasks / Data Analysis Applied to Seven Dwarfs in HPC" explores the integration and efficacy of in-situ data analysis methodologies within high-performance computing (HPC) frameworks, with a particular focus on the computational motifs known as the "Seven Dwarfs," introduced by Phillip Collela in 2004. This research evaluates the effectiveness of conducting data analysis operations directly within computational processes, aiming to reduce data transfer and enhance overall computational efficiency by minimizing I/O operations. The thesis identifies best practices and proposes optimization techniques and frameworks for various data analysis, compression, and visualization strategies. The findings offer significant insights into how concurrent data analysis can be effectively integrated into HPC systems, potentially leading to notable performance enhancements.

[ES] La tesis "Tareas in-situ / Análisis de Datos Aplicado a los Siete Enanos en HPC" explora la integración y eficacia de las metodologías de análisis de datos in-situ dentro de los entornos de computación de alto rendimiento (HPC), con un enfoque particular en los motivos computacionales conocidos como los "Siete Enanos", introducidos por Phillip Collela en 2004. Esta investigación evalúa la efectividad de realizar operaciones de análisis de datos directamente dentro de los procesos computacionales, con el objetivo de reducir la transferencia de datos y mejorar la eficiencia computacional general al minimizar las operaciones de entrada/salida (I/O). La tesis identifica las mejores prácticas y propone técnicas de optimización y frameworks para diversas estrategias de análisis de datos, compresión y visualización. Los resultados ofrecen importantes ideas sobre cómo el análisis de datos concurrente puede integrarse eficazmente en los sistemas HPC, lo que podría llevar a mejoras significativas en el rendimiento.

[DE] Die Dissertation „In-Situ Tasks / Data Analysis Applied to Seven Dwarfs in HPC“ untersucht die Integration und Wirksamkeit von In-Situ Datenanalysemethoden innerhalb von High Performance Computing (HPC) Rahmenwerken, mit besonderem Augenmerk auf die als „Seven Dwarfs“ bekannten Berechnungsmotive, die 2004 von Phillip Collela eingeführt wurden. In dieser Forschungsarbeit wird die Effektivität der Durchführung von Datenanalyseoperationen direkt innerhalb von Rechenprozessen bewertet, mit dem Ziel, den Datentransfer zu reduzieren und die Gesamteffizienz von Berechnungen durch Minimierung von E/A-Operationen zu verbessern. In der Arbeit werden bewährte Verfahren ermittelt und Optimierungstechniken und Rahmenwerke für verschiedene Datenanalyse-, Komprimierungsund Visualisierungsstrategien vorgeschlagen. Die Ergebnisse bieten wichtige Erkenntnisse darüber, wie die gleichzeitige Datenanalyse effektiv in HPC-Systeme integriert werden kann, was zu erheblichen Leistungsverbesserungen führen kann.