Novel synthetic environment to design and validate future onboard interfaces for self-driving vehicles

Abstract

[EN] This thesis presents a novel synthetic environment for supporting advanced explorations of user interfaces and interaction modalities for future transport systems. The main goal of the work is the definition of novel interfaces solutions designed for increasing trust in self-driving vehicles. The basic idea is to provide insights to the passengers concerning the information available to the Artificial Intelligence (AI) modules on-board of the car, including the driving behaviour of the vehicle and its decision making. Most of currently existing academic and industrial testbeds and vehicular simulators are designed to reproduce with high fidelity the ergonomic aspects associated with the driving experience. However, they have very low degrees of realism for what concerns the digital components of the various traffic scenarios. These includes the visuals of the driving simulator and the behaviours of both other vehicles on the road and pedestrians. High visual testbed fidelity becomes an important pre-requisite for supporting the design and evaluation of future on-board interfaces. An innovative experimental testbed based on the hyper-realistic video game GTA V, has been developed to satisfy this need. To showcase its experimental flexibility, a set of selected user studies, presenting novel self-driving interfaces and associated user experience results, are described. These explore the capabilities of inducing trust in autonomous vehicles and explore Heads-Up Displays (HUDs), Augmented Reality (ARs) and directional audio solutions. The work includes three core phases focusing on the development of software for the testbed, the definition of relevant interfaces and experiments and focused testing with panels comprising different user demographics. Specific investigations will focus on the design and exploration of a set of alternative visual feedback mechanisms (adopting AR visualizations) to gather information about the surrounding environment and AI decision making. The performances of these will be assessed with real users in respect of their capability to foster trust in the vehicle and on the level of understandability of the provided signals. Moreover, additional accessory studies will focus on the exploration of different designs for triggering driving handover, i.e. the transfer vehicle control from AI to human drivers, which is a central problem in current embodiments of self-driving vehicles.

[ES] Esta tesis presenta un nuevo entorno virtual para apoyar exploraciones avanzadas de interfaces de usuario y modalidades de interacción para sistemas de transporte futuros. El objetivo principal del trabajo es la definición de soluciones de Realidad Aumentada diseñadas para aumentar la confianza en los vehículos autónomos. La idea básica es proporcionar información a los pasajeros sobre la información disponible para los módulos de Inteligencia Artificial (AI) a bordo del automóvil, incluido el comportamiento de conducción del vehículo y su toma de decisiones. El trabajo incluye tres fases centrales que se centran en el desarrollo de software para el banco de pruebas, la definición de interfaces y experimentos relevantes y pruebas enfocadas con paneles que comprenden diferentes datos demográficos de los usuarios. El entorno de trabajo específico del banco de pruebas experimental se compone de: - GTA V como entorno de prueba debido a su escenario complejo y sus gráficos hiperrealistas. - Volante y pedales para una conducción activa. - DeepGTA como marco de autocontrol. - Tobii Eye Tracking como dispositivo de entrada para las intenciones de los usuarios. Las investigaciones específicas se centrarán en el diseño y la exploración de un conjunto de mecanismos alternativos de retroalimentación visual (adopción de visualizaciones de AR) para recopilar información sobre el medio ambiente circundante y la toma de decisiones de IA. El rendimiento de estos se evaluará con los usuarios reales con respecto a su capacidad para fomentar la confianza en el vehículo y en el nivel de comprensión de las señales proporcionadas. Además, los estudios complementarios adicionales se centrarán en la exploración de diferentes diseños para activar el traspaso de conducción, es decir, el control del vehículo de transferencia de AI a los conductores humanos, que es un problema central en las realizaciones actuales de vehículos autónomos.