Utilización de conocimiento específico en aprendizaje por refuerzo para videojuegos

Abstract

[EN] Nowadays, the video-game industry has grown so much that it has transformed this sector into one of the most productive and important in the world. Such is its weight in society, that even the field of Artificial Intelligence has turned with it, giving fruit to various investigations aimed at studying the behavior of AI in video games.

The seemingly trivial idea that ¿a computer can defeat a human¿ is not as far away as it seems, but thanks to the highly controlled environments that video-games offer us, computer science has found a safe box of experimentation thus demonstrating that a video-game environment can simulate real situations, beyond entertainment.

Reinforcement Learning has proven to be a general and flexible approach to the development of agents who play video-games. However, developing efficient reinforcement agents, especially for end-reward video games, is often very expensive and the simulation requires an enormous number of iterations to obtain an effective policy.

The goal of this project is to study the representation and use of domain-specific knowledge from a video-game to guide the exploration of a reinforcement learning agent and reduce in this way the episodes necessary to master the game. The work is based on the reward machine¿s concept, a type of finite state machine that takes an abstract description of the environment as input and returns different reward functions at different instants of time depending on the reward machine¿s transitions. In particular, we apply the concept of the reward machine to the Google Research Football environment using deep reinforcement learning techniques.

[ES] Hoy por hoy, la industria de los videojuegos ha crecido tanto que ha trasformado este sector en uno de los más productivos e importantes del mundo. Tal es su peso en la sociedad, que incluso el campo de la Inteligencia Artificial se ha volcado con él, dando fruto a diversas investigaciones orientadas a estudiar el comportamiento de la IA en los videojuegos.

La idea, aparentemente trivial, de que ¿un ordenador pueda derrotar a un humano¿ no está realmente tan lejos, si no que gracias a los entornos tan controlados que nos ofrecen los videojuegos la ciencia de la computación ha encontrado un cuadro seguro de experimentación, demostrando así que, mas allá del entretenimiento, un entorno de videojuegos puede simular situaciones absolutamente reales.

El Aprendizaje por Refuerzo ha demostrado ser una aproximación general y flexible para el desarrollo de agentes que juegan a videojuegos. Sin embargo, desarrollar agentes de refuerzo eficientes, especialmente para videojuegos de recompensa final, suele ser muy costoso y la simulación requiere un número enorme de iteraciones hasta obtener una política efectiva.

El objetivo de este proyecto es estudiar la representación y utilización de conocimiento específico del dominio de un videjuego para guiar la exploración de un agente de aprendizaje por refuerzo y reducir así los episodios necesarios para dominar el juego. El trabajo se sustenta en el concepto de máquina de recompensa, un tipo de máquina de estados finitos que toma una descripción abstracta del entorno como entrada y devuelve diferentes funciones de recompensa en diferentes instantes de tiempo dependiendo de las transiciones de la máquina de recompensa. Particularmente, aplicamos el concepto de máquina de recompensa al Google Research Football environment utilizando para ello técnicas de aprendizaje por refuerzo profundo.

[CA] Ara com ara, la indústria dels videojocs ha crescut tant que ha transformat aquest sector en uno dels més productius e importants del món. Tal és el seu pes en la societat, que fins i tot el camp de la Inteligencia Artificial s’ha volcat amb ell, donant frut a diverses investigacions orientades a estudiar el comportament de la IA en els videojocs. La idea, aparenment trivial, de que “un ordinador puga derrotar a un humà” no està realment tan lluny, si no que gràcies als entorns tan controlats que ens ofereixen els videojocs, la ciència de la computació ha trobat un cuadre segur d’experimentació, demostrant aixina que, més enllà de l’entreteniment, un entorn de videojocs pot simular situacions absolutament reals. L’Aprenentatge per Reforç ha demostrat ser una aproximació general i flexible per al desenvolupament d’agents que juguen a videojocs. No obstant això, desenvolupar agents per reforç eficients, especialment per videojocs de recompensa final, sol ser molt costós i la simulació requereix un número enorme de iteracions fins a obtindre una política efectiva. L’objectiu d’aquest projecte és estudiar la representació i utilització de coneixement específic del domini d’un videojoc per guiar l’exploració d’un agent d’aprenentatge per reforç i reduir així els episodis necesaris per a dominar el joc. El treball es sustenta en el concepte de màquines de recompensa, un tipus de màquina d’estats finits que pren una descripció abstracta de l’entorn com entrada i torna diferents funcions de recompensa en diferents instants de temps depenent de les transaccions de la màquina de recompensa. Particularment, apliquem el concepte de màquina de recompensa al Google Research Football environment utilitzant per a ell tècniques d’aprenentatge per reforç profund.