Integrating Human Behaviour and Cognition into Autonomous Driving Learning Systems

Abstract

[ES] En la última década, se ha investigado mucho sobre el uso de técnicas de aprendizaje por refuerzo (RL) aplicadas a la conducción autónoma. La naturaleza exploratoria del RL, basada en prueba y error, ha demostrado ser una solución prometedora para el aprendizaje de políticas de conducción. En este trabajo, proponemos un enfoque colaborativo Humano-Máquina aplicado al aprendizaje de técnicas de conducción en carretera mediante la integración de dos fuentes de conocimiento, (i) muestras de comportamiento humano que representan el conocimiento experto de la conducción en carreteras complejas y (ii) una representación del campo de visión humano que modela la percepción del agente, apoyándole en futuras decisiones sobre la relevancia del contenido en la escena. Ambas fuentes de conocimiento se integran en un esquema de RL en el que la imitación de la visión humana ayuda al agente a interactuar con el entorno eliminando la información irrelevante y la experiencia de condición humana se utiliza para reforzar las acciones negativas. Los resultados reflejan que la incorporación de ambas técnicas ayudan a anticipar escenarios de curvas y a evitar salirse del trazado, en comparación con un modelo base carente de dicho conocimiento.

[EN] Over the last decade, there has been a great bulk of research on the use of Reinforcement Learning (RL) techniques for intelligent decision-making in autonomous driving. The trial-and-error exploratory nature of RL has proven to be a promising solution for learning driving policies. In this work, we propose a human-RL collaborative approach for learning on-road driving by integrating two sources of knowledge, (i) samples of human behaviour representing the expert knowledge of driving on challenging roads and (ii) a representation of the human field of view that models the agent perception to support upcoming decisions on the scene content. Both knowledge sources are integrated into an RL scheme where the human vision imitation helps the agent interact with the environment by removing irrelevant information and the human driving experience is used to reinforce negative actions. The results will show that incorporating both inputs in an RL algorithm helps anticipate cornering scenarios and avoid going off the lane compared to a baseline without such inputs.