Diseño e implementación de software para tratamiento de datos masivos

Abstract

[ES] Actualmente la generación y el tratamiento de datos masivos se ha convertido en un desafío importante en el campo de la Informática. La cantidad de datos generados en muchos procesos informáticos supera la capacidad del software convencional para procesarlos en un tiempo razonable. En muchas aplicaciones de Ingeniería clásicas (Astrofísica, Modelado Electromagnético, Simulación,...) es necesario resolver problemas computacionales en los que los datos estructurados, debido a su gran tamaño, deben almacenarse en memoria secundaria (disco,...). La gestión de las transferencias de datos condiciona estos algoritmos que deben diseñarse cuidadosamente para evitar tiempos de ejecución excesivos. El objetivo del proyecto es el diseño e implementación de algoritmos para el tratamiento de datos almacenados fuera de la RAM, utilizando un computador multicore de última generación. A este tipo de algoritmos se les denomina out-of-core. En particular, en este proyecto se realiza un estudio de la resolución de sistemas de ecuaciones para matrices simétricas definidas positivas mediante la descomposición de Cholesky. Concretamente, se analiza el caso en el que el tamaño de la matriz es tan grande que no cabe en la memoria de acceso aleatorio (RAM). Para abordar este problema, se han implementado dos algoritmos out-of-core basados en el algoritmo por bloques clásico. Para las operaciones matriciales se ha utilizado la librería MKL de intel.

[EN] Generation and management of big data has currently become one of the most important challenges in the field of computer engineering. The huge amount of data generated by many computing procedures makes conventional softwares struggle when trying to compute this data in a reasonable time. The structured data must be stored in hard drives -due to its gigantic size – in some of the classic engineering applications such as Astophysics, Electromagnetic Modelling, Simulation. Therefore it is an imperative to solve this computational disadvantage. The data transfer management affects the algorithms since they must be cautiously designed in order to avoid excessive execution times. The main goal of this project is both the design and implementation of algorithms using a state-of-art multicore computer in the treatment of stored data outside of the RAM. This sort of techniques are called out-of-core algorithms The key performance in this project involves an essay about solving equation systems for symmetric positive-definite matrix using the Cholesky factorization. Being more precise, the exercise analyses those cases in which the matrix size does not fit within the Random Access Memory (RAM). The implementation of two out-of-core algorithms based on the classic block algorithm has been the chosen approach of the problem. The intel’s MKL library has been used for the matrix operations.