Desarrollo de un sistema de interacción para aplicaciones audiovisuales con MicroPython

Abstract

[ES] Este proyecto aborda el desarrollo de un sistema electrónico de bajo coste que permita la interacción hombre-máquina en tiempo real para aplicaciones audiovisuales. Este sistema captará y procesará la información de varios sensores y la enviará en distintos formatos y de forma inalámbrica a terceras aplicaciones softwares empleadas en el mundo audiovisual. De esta forma, el usuario podrá interactuar con estos softwares con sus propios movimientos y gestos. Como sistema microcontrolador se empleará un ESP32 por su bajo coste, potencia de cálculo, y capacidad de comunicaciones inalámbricas por Buetooth y WiFi. Se incorporarán diversos sensores enfocados a la interacción como acelerómetros, giróscopos, magnetómetros, emisores y receptores de ultrasonidos, resistencias flexibles, y otros. Se empleará el lenguaje de programación Python en su versión reducida para sistemas embebidos MicroPython, evaluando a la vez su potencialidad en este tipo de aplicaciones. Para la comunicación con terceras aplicaciones a través de comunicaciones inalámbricas IP se emplearán los formatos JSON y OSC, ampliamente empleados en este tipo de aplicaciones. Finalmente, el sistema se validará con el software SoundCool para la interacción con aplicaciones de generación y procesado de audio.

[EN] This project addresses the development of a low-cost electronic system that enables real-time human-machine interaction for audiovisual applications. This system will capture and process information from various sensors and send the information in different formats wirelessly to third-party software applications used in the audiovisual world. Hence, the user will be able to interact with these software using his/her own movements and gestures. An ESP32 will be used as a microcontroller system for its low cost, computing power, and wireless communications capability by Buetooth and WiFi. Various interaction-focused sensors such as accelerometers, gyroscopes, magnetometers, ultrasonic emitters and receptors, flexible resistors, and others will be incorporated. The Python programming language will be used in its reduced version for embedded systems MicroPython, evaluating its potential in such applications. JSON and OSC formats, widely used in this type of application, will be used for communication with third-party applications over wireless IP communications. Finally, the system will be validated with the SoundCool software for interacting with audio generation and processing applications.