Towards a Universal Test of Social Intelligence

Abstract

[EN] Under the view of artificial intelligence, an intelligent agent is an autonomous entity which interacts in an environment through observations and actions, trying to achieve one or more goals with the aid of several signals called rewards. The creation of intelligent agents is proliferating during the last decades, and the evaluation of their intelligence is a fundamental issue for their understanding, construction and improvement.

Social intelligence is recently obtaining special attention in the creation of intelligent agents due to the current view of human intelligence as highly social. Social intelligence in natural and artificial systems is usually measured by the evaluation of associated traits or tasks that are deemed to represent some facets of social behaviour. The amalgamation of these traits or tasks is then used to configure an operative notion of social intelligence. However, this operative notion does not truly represent what social intelligence is and a definition following this principle will not be precise. Instead, in this thesis we investigate the evaluation of social intelligence in a more formal and general way, by actually considering the evaluee's interaction with other agents.

In this thesis we analyse the implications of evaluating social intelligence using a test that evaluates general intelligence. For this purpose, we include other agents into an initially single-agent environment to figure out the issues that appear when evaluating an agent in the context of other agents. From this analysis we obtain useful information for the evaluation of social intelligence.

From the lessons learned, we identify the components that should be considered in order to measure social intelligence, and we provide a formal and parametrised definition of social intelligence. This definition calculates an agent's social intelligence as its expected performance in a set of environments with a set of other agents arranged in teams and participating in line-ups, with rewards being re-understood appropriately. This is conceived as a tool to define social intelligence testbeds where we can generate several degrees of competitive and cooperative behaviours. We test this definition by experimentally analysing the influence of teams and agent line-ups for several multi-agent systems with variants of Q-learning agents.

However, not all testbeds are appropriate for the evaluation of social intelligence. To facilitate the analysis of a social intelligence testbed, we provide some formal property models about social intelligence in order to characterise the testbed and thus assess its suitability. Finally, we use the presented properties to characterise some social games and multi-agent environments, we make a comparison between them and discuss their strengths and weaknesses in order to evaluate social intelligence.

[ES] Bajo la visión de la inteligencia artificial, un agente inteligente es una entidad autónoma la cual interactúa en un entorno a través de observaciones y acciones, tratando de lograr uno o más objetivos con la ayuda de varias señales llamadas recompensas. La creación de agentes inteligentes está proliferando durante las últimas décadas, y la evaluación de su inteligencia es un asunto fundamental para su entendimiento, construcción y mejora.

Recientemente la inteligencia social está obteniendo especial atención en la creación de agentes inteligentes debido a la visión actual de la inteligencia humana como altamente social. Normalmente la inteligencia social en sistemas naturales y artificiales se mide mediante la evaluación de rasgos asociados o tareas que se consideran que representan algunas facetas del comportamiento social. La agrupación de estos rasgos o tareas se utiliza entonces para configurar una noción operacional de inteligencia social. Sin embargo, esta noción operacional no representa fielmente a la inteligencia social y no sería posible una definición siguiendo este principio. En su lugar, en esta tesis investigamos la evaluación de la inteligencia social de un modo más formal y general, considerando la interacción del agente a evaluar con otros agentes.

En esta tesis analizamos las implicaciones de evaluar la inteligencia social utilizando un test que evalúe la inteligencia general. Con este objetivo incluimos otros agentes en un entorno inicialmente diseñado para un único agente con el fin de averiguar qué cuestiones aparecen cuando evaluamos a un agente en un contexto con otros agentes. A partir de este análisis obtenemos información útil para la evaluación de la inteligencia social.

A partir de las lecciones aprendidas identificamos los componentes que deberían considerarse al medir la inteligencia social y proporcionamos una definición formal y parametrizada de esta inteligencia social. Esta definición calcula la inteligencia social de un agente como su rendimiento esperado en un conjunto de entornos y con un conjunto de otros agentes organizados en equipos y distribuidos en alineaciones, reinterpretando apropiadamente las recompensas. Esto se concibe como una herramienta para definir bancos de prueba de inteligencia social donde podamos generar varios grados de comportamientos competitivos y cooperativos. Probamos esta definición analizando experimentalmente la influencia de los equipos y las alineaciones de agentes en varios sistemas multiagente con variantes de agentes Q-learning.

Sin embargo, no todos los bancos de prueba son apropiados para la evaluación de la inteligencia social. Para facilitar el análisis de un banco de pruebas de inteligencia social, proporcionamos algunos modelos de propiedades formales sobre la inteligencia social con el objetivo de caracterizar el banco de pruebas y así valorar su idoneidad. Finalmente, usamos las propiedades presentadas para caracterizar algunos juegos sociales y entornos multiagente, hacemos una comparación entre ellos y discutimos sus puntos fuertes y débiles para ser usados en la evaluación de la inteligencia social.

[CA] Davall la visió de la intel·ligència artificial, un agent intel·ligent és una entitat autònoma la qual interactua en un entorn a través d'observacions i accions, tractant d'aconseguir un o més objectius amb l'ajuda de diverses senyals anomenades recompenses. La creació d'agents intel·ligents està proliferant durant les últimes dècades, i l'avaluació de la seua intel·ligència és un assumpte fonamental per al seu enteniment, construcció i millora.

Recentment la intel·ligència social està obtenint especial atenció en la creació d'agents intel·ligents a causa de la visió actual de la intel·ligència humana com altament social. Normalment la intel·ligència social en sistemes naturals i artificials es mesura per mitjà de l'avaluació de trets associats o tasques que es consideren que representen algunes facetes del comportament social. L'agrupació d'aquests trets o tasques s'utilitza llavors per a configurar una noció operacional d'intel·ligència social. No obstant això, aquesta noció operacional no representa fidelment a la intel·ligència social i no seria possible una definició seguint aquest principi. En el seu lloc, en aquesta tesi investiguem l'avaluació de la intel·ligència social d'una manera més formal i general, considerant la interacció de l'agent a avaluar amb altres agents.

En aquesta tesi analitzem les implicacions d'avaluar la intel·ligència social utilitzant un test que avalue la intel·ligència general. Amb aquest objectiu incloem altres agents en un entorn inicialment dissenyat per a un únic agent amb la finalitat d'esbrinar quines qüestions apareixen quan avaluem un agent en un context amb altres agents. A partir d'aquesta anàlisi obtenim informació útil per a l'avaluació de la intel·ligència social.

A partir de les lliçons apreses identifiquem els components que haurien de considerar-se al mesurar la intel·ligència social i proporcionem una definició formal i parametrizada d'aquesta intel·ligència social. Aquesta definició calcula la intel·ligència social d'un agent com el seu rendiment esperat en un conjunt d'entorns i amb un conjunt d'altres agents organitzats en equips i distribuïts en alineacions, reinterpretant apropiadament les recompenses. Açò es concep com una ferramenta per a definir bancs de prova d'intel·ligència social on podem generar diversos graus de comportaments competitius i cooperatius. Provem aquesta definició analitzant experimentalment la influència dels equips i les alineacions d'agents en diversos sistemes multiagent amb variants d'agents Q-learning.

No obstant això, no tots els bancs de prova són apropiats per a l'avaluació de la intel·ligència social. Per a facilitar l'anàlisi d'un banc de proves d'intel·ligència social, proporcionem alguns models de propietats formals sobre la intel·ligència social amb l'objectiu de caracteritzar el banc de proves i així valorar la seua idoneïtat. Finalment, usem les propietats presentades per a caracteritzar alguns jocs socials i entorns multiagent, fem una comparació entre ells i discutim els seus punts forts i dèbils per a ser usats en l'avaluació de la intel·ligència social.