Kai: una herramienta para el procesado de datos a gran escala en clústeres

Abstract

[EN] In this document we are presenting Kai, a Scala library developed to simplify the creation of large data processing applications on Hadoop clusters. The library is based in the definition of three basic operators, map, filter and fold, used to define other more complex operations like take, join, group or zip, used to transform large data sets in an efficient way. This work recaps some classic concepts of functional programming to easily translate such operations into a sequence of MapReduce jobs, applying optimizations before executing the data flow in the cluster.

[ES] En el documento actual se presenta Kai, una biblioteca escrita en Scala destinada a simplificar la escritura de aplicaciones de procesado de datos a gran escala en clústeres basados en Hadoop. La biblioteca está basada en la definición de tres operaciones básicas, map, filter y fold, sobre las que se implementan otras operaciones más complejas como take, join, group, zip, destinadas a manipular y transformar grandes conjuntos de datos de forma eficiente. Para ello el trabajo recoge algunos conceptos clásicos de la programación funcional que permiten traducir esas operaciones básicas en secuencias de trabajos de MapReduce de forma sencilla, aplicando optimizaciones previamente a la ejecución del flujo de trabajo dentro del cluster.