Desarrollo y evaluación de los esquemas de paralelización de datos y de modelo para el entrenamiento de redes neuronales convolucionales

Abstract

[ES] En los últimos años, las Redes Neuronales Profundas (RNPs) han resurgido debido a la confluencia de tres importantes factores: i) la avalancha de datos disponibles (big data), que incrementan la robustez de las RNPs; ii) el aumento de la capacidad de cómputo de los sistemas de cómputo actuales, que permite el entrenamiento de las redes en un tiempo razonable; y iii) los avances algorítmicos y los entornos de programación de código abierto para RNPs, que facilitan su uso y la investigación en este campo. No obstante, las altas demandas computacionales de la etapa de entrenamiento requiere el uso técnicas paralelas eficientes en plataformas de memoria distribuida.

En este trabajo se propone el análisis, desarrollo e implementación de los esquemas de paralelismo de datos y de modelo para el entrenamiento de RNPs sobre clústeres de computadores. La implementación de estos esquemas de paralelismo se llevará a cabo en PyDTNN, un entorno simple de entrenamiento de RNPs, mediante el uso de la interfaz de paso de mensajes MPI para plataformas de memoria distribuida. Una vez desarrollados ambos esquemas de paralelismo, se evaluarán las ganancias y la escalabilidad obtenidas en diferentes configuraciones de número de nodos y modelos de RNP. Esta evaluación experimental se complementará con el análisis de perfiles y trazas de ejecución obtenidas con ambos esquemas de paralelismo.