Desarrollo, implementación y evaluación de redes neuronales recurrentes de tipo LSTM-g

Abstract

El objetivo de este Proyecto Final de Carrera es la implementación y desarrollo de la redes neuronales recurrentes de tipo Generalized Long Short Term Memory (LSTM-g) y su combinación con un diseño previo para redes de tipo feedforward o multilayer perceptron (MLP) entrenadas mediante Backpropagation. De este modo, se pretende no solamente implementar el algoritmo de entrenamiento de las LSTM-g sino poder utilizar ciertas características de las mismas (puertas "gated") en redes no recurrentes. Otro objetivo es aprovechar el diseño e implementación previas de la versión MLP, una especie de "arma de doble filo" porque nos ofrece partes ya resueltas pero, por otra parte, supone restricciones en el diseño. La memoria de este trabajo realiza un recorrido teórico sobre los distintos tipos de redes neuronales artificiales y sus respectivos algoritmos de aprendizaje abordando las dificultades que poseen. En particular, explicamos la dificultad de entrenar una red neuronal recurrente conforme aumenta la longitud de las secuencias utilizadas, donde se observa el problema del desvanecimiento de errores (Vanishing Gradients)[4] en el proceso de aprendizaje y cómo éste ha sido resuelto en la literatura. Este problema motiva las redes de tipo "long short term memory" que han sido mejoradas en diversos trabajos de la literatura con la aparición de las peephole connections, entre otras. Estas mejoras culmina con la introducción y análisis en profundidad de las redes LSTM y LSTM-g como solución al problema de aprendizaje comentado anteriormente en las redes neuronales recurrentes. A continuación se expone el diseño e implentación eficiente de un caso particular del mecanismo de control de flujo en las redes neuronales recurrentes de tipo LSTM-g como parte de la herramienta April, implementada en C++ y Lua, desarrollada por los codirectores de este proyecto y que, al inicio de este proyecto, disponía de un módulo de entrenamiento de MLPs utilizando el algoritmo de backpropagation. Explicamos cómo la flexibilidad del diseño inicial ha permitido preadaptar al mismo para la incorporación de las LSTM-g que son un tipo particular de red recurrente basada en la manipulación de datos locales (es decir, los datos utilizados durante el entrenamiento y la evaluación de las redes no crece con la longitud de las secuencias a procesar). Finalmente, la memoria presenta las conclusiones alcanzadas y se proponen los trabajos futuros.