Desarrollo de un framework para algoritmos geneticos en Spark

Abstract

[ES] El objetivo de este TFM es desarrollar un framework de metaheurísticas empleando la infraestructura de los clústeres de Apache Spark, a fin de comprobar si el beneficio otorgado por dicha herramienta supera sus sobrecostes. Hoy en día existen varias librerías que permiten ejecutar algoritmos de Machine Learning sobre infraestructuras de Big Data, pero en cambio el número de librerías que permitan ejecutar algoritmos de optimización aprovechando el poder de cómputo de infraestructuras Big Data es reducido. Utilizar infraestructuras de Big Data en optimización permitirá explorar más porción del espacio de búsqueda en un tiempo relativamente reducido, y esto puede ser potencialmente muy interesante para problemas de búsqueda donde el número de dimensiones del espacio es muy grande. En concreto en este TFM se desarrollará un framework general para algoritmos genéticos en Spark, que ofrezca toda una serie de "templates" standard para algoritmos genéticos como una variedad de operadores predefinidos, que será comparado con los resultados arrojados por el mismo tipo de procesador con un único hilo de ejecución.

[EN] The aim of this work is to develop a metaheuristics framework using the infrastructure of Apache Spark's clusters, in order to check if the benefit provided by that tool overcomes its overhead. Nowadays there are several libraries that allow us to execute Machine Learning algorithms on Big Data infrastructures, however the number of libraries that allow executing optimization algorithms by taking advantage of the computing power of Big Data infrastructures is lacking. Using Big Data infrastructures in optimization will allow us to explore more portions of the search space in a relatively short time, and this can be potentially very interesting for search problems whose dimensionality is very large. Specifically this work will develop a general framework for genetic algorithms in Spark, which will offer a series of templates for genetic algorithms as well as a variety of predefined operators, which will be compared with the results given by the same type of processor with a single thread of execution.