Introduction to Deep Learning: a practical point of view

Abstract

[EN] Deep Learning is currently used for numerous Artificial Intelligence applications, especially in the computer vision field for image classification and recognition tasks. Thanks to the increasing popularity, several tools have been created to take advantage of the potential benefits of this new technology. Although there is already a wide range of available benchmarks which offer evaluations of hardware architectures and Deep Learning software tools, these projects do not usually deal with specific performance aspects and they do not consider a complete set of popular models and datasets at the same time. Moreover, valuable metrics, such as GPU memory and power usage, are not typically measured and efficiently compared for a deeper analysis. This report aims to provide a complete and overall discussion about the recent progress of Deep Learning techniques, by evaluating various hardware platforms and by highlighting the key trends of the main Deep Learning frameworks. It will also review the most popular development tools that allow users to get started in this field and it will underline important benchmarking metrics and designs that should be used for the evaluation of the increasing number of Deep Learning projects. Furthermore, the data obtained by the comparison and the testing results will be shown in this work in order to assess the performance of the Deep Learning environments examined. The reader will also deepen the following points in the next pages: a general Deep Learning study to acquire the main state-of-the-art concepts of the subject; an attentive examination of benchmarking methods and standards for the evaluation of intelligent environments; the personal approach and the related project realised to carry out experiments and tests; interesting considerations extracted and discussed by the obtained results.

[ES] Los sistemas de aprendizaje automático se han popularizado en los últimos tiempos gracias a la disponibilidad de aceleradores de cómputo tales como tarjetas gráficas (Graphics Processing Units, o GPUs). Estos sistemas de aprendizaje automático hacen uso de técnicas de inteligencia artificial conocidas como Deep Learning (aprendizaje profundo). Las técnicas de Deep Learning están basadas en las redes neuronales. Este tipo de redes, que necesitan de grandes potencias de cómputo, no son nuevas sino que ya se conocen desde hace bastantes años. En este sentido, el uso de estas redes neuronales se ha acelerado en los últimos años gracias al uso de GPUs.

Estos sistemas de aprendizaje permiten a los ordenadores realizar tareas como reconocimiento automático de imágenes. En un plano más industrial, estos sistemas son, por ejemplo, una de las bases sobre las que se asientan los coches autónomos, tan presentes en las noticias durante los últimos meses. En resumen, el uso de la tecnología Deep Learning junto con el uso masivo de GPUs compatibles con CUDA ha posibilitado un salto cualitativo importante en muchas áreas. Sin embargo, dada su reciente aparición, y dado también que en los 4 años del grado hay que seleccionar muy cuidadosamente las enseñanzas a impartir, el plan de estudios actual no profundiza en estas tecnologías en la medida que a algunos alumnos les gustaría.

En este TFG se propone al alumno llevar a cabo una exploración a nivel práctico de este tipo de tecnologías. Para ello, el alumno instalará y usará diversos entornos de Deep Learning y también hará una posterior evaluación de prestaciones en diferentes sistemas hardware basados en GPUs. Para ello usará un clúster equipado con GPUs de última generación. Este clúster cuenta con nodos que incluyen varias GPUs.