Realidad aumentada para la creación musical y audiovisual colaborativa

Abstract

[ES] En este trabajo se desarrollarán herramientas de creación musical y audiovisual colaborativas para las Microsoft Hololens de realidad aumentada (https://www.microsoft.com/en-us/hololens) y el sistema de creación colaborativa Soundcool con móviles, tablets y Kinect (soundcool.org, teaser https://youtu.be/VV6bg3HlM4o). Las Hololens se programarán en Unity (https://unity3d.com/es) plataforma de programación de videojuegos de las más extendidas, utilizando el protocolo Open Sound Control (OSC) para las comunicaciones. El TFM supone una combinación de imagen y sonido, redes (WIFI y protocolo Open Sound Control), y programación.

Soundcool ha participado en el MarketLab del festival de música electrónica Sonar en 2017 y 2018, ha recibido el premio NEM Art de la asociación New European Media (NEM) de industrias creativas, dos premios Bankia, el Premio del SIMO a la Mejor Experiencia en Programación y Robótica, y varios premios también al grupo de Soundcool dedicado a su uso para diversidad funcional (grupo Emosons). Soundcool ha sido adoptado en proyectos Erasmus+ para su uso en varios países europeos, y actualmente se está utilizando también en Carnegie Mellon University (EEUU) y en el Instituto Tecnológico de Estudios Superiores de Monterrey (ITESM). Para una introducción al sistema Soundcool véase https://youtu.be/tFEUq1RwQ3g. Para una muestra de un primer prototipo de uso de las Hololens de realidad aumentada con Soundcool véase https://youtu.be/ZJF4kl8-TDI

[EN] In this work, collaborative audiovisual and musical creation tools will be developed for the augmented reality Microsoft Hololens (https://www.microsoft.com/en-us/hololens) and the Soundcool collaborative creation system with mobiles, tablets and Kinect ( soundcool.org, teaser https://youtu.be/VV6bg3HlM4o). The Hololens will be programmed in Unity (https://unity3d.com/es) the most widespread videogame programming platform, using the Open Sound Control (OSC) protocol for communications. The TFM supposes a combination of image and sound, networks (WIFI and Open Sound Control protocol), and programming.

Soundcool has participated in the MarketLab of the Sonar electronic music festival in 2017 and 2018, has received the NEM Art award from the New European Media (NEM) association of creative industries, two Bankia awards, the SIMO Award for the Best Experience in Programming and Robotics, and several awards also to the Soundcool group dedicated to its use for functional diversity (Emosons group). Soundcool has been adopted in Erasmus + projects for use in several European countries, and is currently also being used at Carnegie Mellon University (USA) and at the Technological Institute of Higher Studies of Monterrey (ITESM). For an introduction to the Soundcool system see https://youtu.be/tFEUq1RwQ3g. For a sample of a first prototype of using the augmented reality Hololens with Soundcool see https://youtu.be/ZJF4kl8-TDI