Diseño y desarrollo de un entorno IoT de generación de efectos multi-sensoriales para mejorar la calidad de experiencia (QoE) de los usuarios durante el consumo de contenido audiovisual

Abstract

[ES] El trabajo final de máster (TFM) tiene como objetivo el diseño, desarrollo e implementación de un sistema IoT (Internet de las Cosas) que, a partir de una serie de órdenes o mensajes recibidos vía IP, permita la generación de efectos multisensoriales en una sala de consumo de contenido audiovisual, de forma sincronizada con la reproducción del mismo. Constituye una de las dos partes de un proyecto más ambicioso, de desarrollo de un sistema de reproducción de contenido multimedia en una sala o local, junto con la generación sincronizada de los efectos sensoriales asociados al mismo, utilizando diferentes dispositivos generadores de los efectos. La otra parte se centra en el diseño de una aplicación basada en web para generación y reproducción de contenidos multimedia junto con efectos multisensoriales sincronizados, y es objeto de otro TFM.

Entre los efectos a incluir, a modo de ejemplo, se pueden citar los siguientes: viento, vibración, luz, temperatura, humedad, aroma y niebla. Su inclusión en las experiencias de consumo de contenidos multimedia proporciona una experiencia multisensorial más realista e inmersiva a los usuarios. Ello implica una mejora en la calidad de la experiencia (QoE) de consumo de contenidos mulsemedia (multi sensorial media) de dichos usuarios. Se analizará la integración de diversos efectos sensoriales que estimulen los sentidos del tacto, olfato y la vista. El sentido del tacto se estimulará mediante ventiladores que simulen el viento, dispositivos que provoquen vibración en el asiento y chalecos hápticos. El sentido olfativo se estimulará mediante la activación de dispositivos que emitan aromas. Para dar sensaciones de frío y calor, se utilizarán dispositivos de aire acondicionado y calefactores, respectivamente. El sentido visual se estimulará mediante la activación de luminarias LED o dispositivos de iluminación especial.

En el TFM se diseñará e implementará tanto la electrónica necesaria como la programación de los protocolos de comunicaciones de un sistema de dispositivos interconectados vía IP, el cual, mediante tarjetas de desarrollo, como Raspberry, Arduino, ESP, o dispositivos de más capacidad, como minicomputadores que puedan integrar un servidor, gestione la recepción de mensajes IP desde una aplicación basada en web (desarrollada en otro TFM), su procesado y la correspondiente generación de los efectos sensoriales solicitados por la misma. Los diferentes actuadores que permitan la activación de determinados efectos se conectarán con tarjetas de desarrollo de igual o menor capacidad. Se desarrollarán los circuitos electrónicos necesarios que cumplan las condiciones para que se puedan controlar los diferentes actuadores de la manera más simple, estética, con tamaño reducido y eficiente (también energéticamente).

Los dispositivos generadores deben poder activarse y/o desactivarse sólo en aquellos intervalos de tiempo asignados para dichos efectos. Se diseñará un controlador (basado en un miniPC) de dispositivos generadores de efectos que pueda gestionarlos y que sea escalable. Será el encargado de interactuar con la aplicación web desarrollada en el otro TFM complementario.

Para la comunicación entre dispositivos se analizarán protocolos ligeros y seguros como HTTPS, ESP now, Web socket, entre otros, que permitan recibir y enviar mensajes (por definir en el TFM) para que se puedan detectar y gestionar los dispositivos así como activar los diferentes actuadores en los instantes deseados. Se buscarán comunicaciones con retardos mínimos, que afecten lo mínimo posible a la calidad de la experiencia (QoE) del usuario. Ello repercutirá en una latencia mínima en la comunicación y en la activación de los efectos sensoriales en tiempos específicos.

Para poder conectar los dispositivos generadores de efectos ser tendrá en cuenta la estética, distancia, cantidad de dispositivos por lo que se intentará que las comunicaciones inalámbricas sean las que predominen en el diseño, aunque en casos especí

[EN] Technological advances in recent years have given way to more immersive experiences in terms of multimedia content. This is why the concept of mulsemedia emerges, which encompasses the stimulation of people's senses regarding the audiovisual content they experience. The inclusion of these experiences is still limited by economic resources, infrastructure or proprietary systems, so designing versatile, scalable, economical experiences with appropriate results has become a challenge. This TFM focuses on the implementation of an environment that allows the management of the generation of multisensory effects. It analyzes the design of a mulsemedia controller that allows fluid communication and interaction between the devices that generate effects with multimedia content, electronic prototypes that allow the control of the different effects are analyzed and developed, through accessible devices such as microcontrollers, relays, dimmers and household appliances that can be found in the home, as well as evaluating the latency that occurs during communication.