Generación de contenidos mulsemedia y desarrollo de aplicación basada en tecnologías web para la selección y reproducción de los mismos junto con efectos multisensoriales que mejoren la QoE de los usuarios

Abstract

[ES] El trabajo final de máster (TFM) tiene como objetivo el diseño de una aplicación basada en web para reproducción de contenidos multimedia junto con efectos multisensoriales sincronizados, que también serán generados durante el transcurso de su realización. Constituye una de las dos partes de un proyecto más ambicioso, de desarrollo de un sistema de reproducción de contenido multimedia en una sala o local, junto con la generación sincronizada de los efectos sensoriales asociados al mismo, utilizando diferentes dispositivos generadores de los efectos, controlados vía IP. La segunda parte se centra en el diseño de la electrónica de control y de la comunicación con los diferentes dispositivos, y es objeto de otro TFM.

En una fase inicial de este TFM, se deben generar contenidos multimedia junto con un fichero con metadatos basados en el estándar MPEG-V sobre los efectos multisensoriales que se le pueden agregar a cada uno de los contenidos (contenido mulsemedia, de multi-sensorial media). El contenido se dejará disponible en un servidor web para su descarga vía web mediante técnicas HAS (HTTP-based Adaptive Streaming), como HLS o MPEG-DASH.

Entre los efectos a incluir, a modo de ejemplo, se pueden citar los siguientes: viento, vibración, luz, temperatura, humedad, aroma y niebla. Su inclusión en las experiencias de consumo de contenidos multimedia proporciona una experiencia multisensorial más inmersiva a los usuarios. Para la generación de los metadatos de los efectos se puede usar, por ejemplo, la herramienta gráfica SEVino2 (Sensory Effect Video Annotation), que permite generar un archivo XML con los metadatos asociados a los efectos multisensoriales a asociar a un contenido multimedia (por ejemplo, con los instantes de generación, la duración y/o la intensidad de cada efecto). Se deberán analizar los tiempos exactos para la colocación de cada uno de los efectos debido a que no pueden solaparse unos con otros, a menos que estos sean complementarios. Por ejemplo, en el caso de aromas se debe tener en cuenta el tiempo en que un olor se pueda dispersar lo suficiente para no generar otro antes, evitando su mezcla. De la misma manera, se deberá dejar un intervalo adecuado para que los efectos de climatización, como frio o calor, se puedan sentir adecuadamente.

Posteriormente, en una segunda fase del TFM, se realizará el diseño y programación de una aplicación web basada en HTML5 para la reproducción del contenido disponible en el servidor. El funcionamiento de la aplicación será el siguiente: a) Inicialmente, se solicitará al servidor información (solicitud y descarga de fichero de contenidos) sobre los contenidos mulsemedia disponibles en el mismo (protocolo de solicitud/respuesta a elegir/desarrollar durante la realización del TFM) b) A continuación, se podrá seleccionar uno de ellos (por ejemplo, de una lista desplegable). Automáticamente, se cargará el fichero índice del vídeo, así como también se descargará del servidor y se procesará el fichero XML con los metadatos de efectos sensoriales guardándose en variables internas. c) Ya se podrá reproducir junto con la generación de los efectos asociados. d) La interface de la app web deberá representar, debajo del reproductor, una ventana de tipo texto con los logs de activación/desactivación de los efectos, así como iconos o imágenes de los dispositivos generadores, alrededor del reproductor, que se activarán conforme se deban ir activando los efectos multisensoriales. e) Mediante la supervisión continua del instante de la reproducción, el reproductor del vídeo deberá enviar, vía IP, órdenes de activación/desactivación a un dispositivo remoto de control de la generación real de los efectos, mediante un protocolo de comunicaciones (a elegir/desarrollar durante la realización del TFM). El usuario podrá saltar hacia delante o hacia atrás en la reproducción del contenido por lo que se deberán controlar los períodos de activación de los diferentes efectos según el instante al que se

[EN] The inclusion of multi-sensory effects, not only visual and auditory, but also tactile, olfactory and gustatory, in multimedia content consumption experiences provides a more immersive multi-sensory experience for users. Although multiple studies analyze the presentation of sensory effects in multimedia applications, only some of them propose an approach to simulate the visualization of the results obtained when creating applications with sensory effects. That is why the creation of an interactive web application is proposed that is capable of managing, processing and visualizing multimedia content along with multi-sensory effects. To achieve this, a 3D graphics simulator is used to represent the physical point of the environment where each of the sensory effects to be generated is presented, allowing their synchronization to be checked, this being a key tool to validate their integration.

Multimedia content (video with audio) is generated along with an XML file containing metadata based on the MPEG-V standard on multi-sensory effects. The Sevino2 tool is used to generate said XML file. The content will then be made available on a web server (either in .mp4 or MPEG-DASH format). The effects to be included include wind, vibration, light, temperature, humidity, aroma, fog, and dew.

The application also includes real-time communication management via Websocket with a controller for effects-generating devices, which allows commands to be sent and received from and to said controller, and this in turn to physical devices that generate sensory effects, ensuring and guaranteeing synchronization with the generation of the effects and the reproduction of the multimedia content. This processing and visualization system shows that web technologies can provide immersive experiences to the user by combining audiovisual content with sensory effects, both in real and virtual environments