Optimización del comportamiento de bots aplicado a teoría de juegos

Abstract

[ES] La flexibilidad, la rapidez y la robustez en el aprendizaje y, en definitiva, en la toma de decisiones son aspectos clave a la hora de desarrollar robótica humanoide. En este TFG se analizará el comportamiento de bots en juegos competitivos de estrategia mixta, tales cómo el juego piedra-papel-tijeras o el "matching pennies" que es una simplificación que únicamente considera 2 alternativas. En el TFG, los bots serán operados mediante técnicas de aprendizaje por refuerzo ("reinforcement learning", RL), dotadas éstas de la capacidad de aprendizaje continuado y/o de estructuras de meta-aprendizaje. La intención original del TFG es doble, por una lado se pretende optimizar el comportamiento de los agentes de RL compitiendo contra otros algoritmos computacionales (véase https://www.kaggle.com/c/rock-paper-scissors). Por otro lado se pretende entender mejor nuestra toma de decisiones en este tipo de juegos: los primates, incluyéndonos a nosotros humanos, somos incapaces de seleccionar opciones de forma aleatoria y, por tanto, nos desviamos del comportamiento óptimo en este tipo de juegos. Esta incapacidad la suplantamos mediante cambios de estrategia (por ejemplo, win-stay/lose-switch) a partir de mecanismos de memoria e inferencia basada en teoria de la mente. El uso del aprendizaje por refuerzo para el estudio del comportamiento humano (y animal) nos permite entender como se producen las decisiones en situaciones complejas.

[EN] Flexibility, speed and robustness in learning and, ultimately, in decision-making are key aspects when developing humanoid robotics. In this TFG the behavior of bots in competitive mixed strategy games will be analyzed, such as the rock-paper-scissors game or the "matching pennies" which is a simplification that only considers 2 alternatives. In the TFG, the bots will be operated using reinforcement learning techniques ("reinforcement learning", RL), endowed with the capacity for continuous learning and / or meta-learning structures. In this TFG we have a double aim, on the one hand it is intended to optimize the behavior of RL agents competing against other computational algorithms (see https://www.kaggle.com/c/rock-paper-scissors). On the other hand, it is intended to better understand our decision-making in these types of games: primates, including us humans, are unable to select options randomly and, therefore, we deviate from the optimal behavior in these types of games. We supplant this inability through changes in strategy (for example, win-stay / lose-switch) based on memory mechanisms and inference based on theory of mind. Using reinforcement learning to study human (and animal) behavior allows us to understand how decisions are produced in complex situations.