Planificación estratégica para el juego Diplomacy

Abstract

El objetivo principal de la inteligencia artificial es construir modelos computacionales capaces de razonar como lo hacemos los humanos. Uno de sus campos de desarrollo es la planificación automática. Esta fascinante disciplina permite generar computacionalmente planes de acción para lograr objetivos específicos en entornos complejos en los que para los seres humanos sería muy difícil generarlos adecuadamente. La planificación automática se puede desarrollar mediante diferentes técnicas de razonamiento. La planificación automática basada en razonamiento deductivo tiene el problema de que las decisiones están limitadas a las tareas concretas para las que el sistema fue pre-programado. Por otro lado, el utilizar técnicas de razonamiento inductivo como son los Procesos de Decisión de Markov en la planificación automática, permite crear sistemas inteligentes capaces de adaptarse a su entorno. En esta tesis presentamos la aplicación de diferentes técnicas de inteligencia artificial y planificación automática en un bot capaz de jugar a Diplomacy mediante inferencias deductivas e inductivas, aprendiendo de su propia experiencia como jugador. En nuestro bot el razonamiento deductivo está basado en el estudio de los bots existentes y el razonamiento inductivo está basado en los Procesos de Decisión de Markov. Dado que por la naturaleza de Diplomacy no se pueden conocer las probabilidades de transición entre estados, se ha aplicado la técnica de aprendizaje por refuerzo Q-Learning para actualizar los valores de utilidad. Mediante la experimentación se demuestra que el razonamiento inductivo complementa al razonamiento deductivo haciendo que el rendimiento del bot mejore a medida que aprende.