Implementación del algoritmo Q-Learning y Deep Q-Learning para el aprendizaje reforzado en videojuegos

Abstract

[ES] En este TFG, vamos a estudiar una de las tres partes principales del aprendizaje automático: el paradigma del aprendizaje reforzado y su aplicación en el ámbito de los videojuegos mediante los algoritmos Q-Learning y Deep Q-Learning usando el lenguaje de programación Python. Una vez presentados los fundamentos teóricos del aprendizaje reforzado y estos algoritmos, se detallarán las tres implementaciones realizadas en el TFG. Por una parte, veremos la implementación de un sistema mediante el algoritmo QLearning para el aprendizaje en un juego simple llamado “Frozen Lake” hecho a medida para el estudio del algoritmo. Por otra parte, se verán dos implementaciones de sistemas mediante el algoritmo Deep Q-Learning. Una de estas implementaciones tratará sobre el clásico videojuego Arcade llamado “Snake”, y la otra implementación sobre el famoso videojuego “Super Mario Bros” con ayuda del toolkit Gym de OpenAI. Finalmente, se llevará a cabo una experimentación con las tres implementaciones para analizar el rendimiento del sistema y el efecto de los distintos parámetros y modificaciones realizadas sobre estas.

[EN] In this TFG, we are going to study one of the three main parts of machine learning: the paradigm of reinforced learning and its application in the field of video games through the Q-Learning and Deep Q-Learning algorithms using the Python programming language. Once the theoretical fundamentals behind reinforced learning and these algorithms have been presented, we will detail the three implementations developed in the TFG. On the one hand, we will see the implementation of a system using the Q-Learning algorithm for learning in a simple game called “Frozen Lake” specifically designed for the study of the algorithm. On the other hand, we will see two others implementations of a system using the Deep Q-Learning algorithm. One of these implementations will be about the classic Arcade videogame called “Snake”, and the other implementation will be about the famous videogame “Super Mario Bros” with the help of the OpenAI Gym toolkit. Finally, we will carry out an experimentation with the three implementations to analyze the performance of the system and the effects of the different parameters and modifications made on them.

[CA] En aquest TFG, anem a estudiar una de les tres parts principals de l’aprenentatge automàtic: el paradigma de l’aprenentatge reforçat i la seua aplicació en l’àmbit dels videojocs mitjançant els algorismes Q-Learning i Deep Q-Learning usant el llenguatge de programació Python. Una vegada presentats els fonaments teòrics de l’aprenentatge reforçat i aquests algorismes, es detallaran les tres implementacions realitzades en el TFG. Per una banda, veurem la implementació d’un sistema mitjançant l’algorisme QLearning per a l’aprenentatge en un joc molt simple anomenat “Frozen Lake” fet a mesura per a l’estudi de l’algorisme. Per altra banda, es veuran dues implementacions de sistemes mitjançant l’algorisme Deep Q-Learning. Una d’aquestes implementacions tractará sobre el clàssic videojoc Arcade anomenat “Snake”, i l’altra implementació sobre el famós videojoc “Super Mario Bros” amb ajuda del toolkit “Gym” de OpenAI Finalment, es durà a terme una experimentació amb les tres implementacions per analitzar el rendiment del sistema i l’efecte dels distints paràmetres i modificacions realitzades sobre aquestes.