Mixed Piano: Aplicación de Realidad Mixta para la enseñanza del piano usando el Passthrough de Meta Quest

Abstract

[ES] Los dispositivos de Realidad Virtual autónomos, como Oculus/Meta Quest, tienen numerosas ventajas con respecto a otro tipo de dispositivos, por ejemplo, se pueden utilizar sin necesidad de estar conectados a un ordenador, lo que mejora considerablemente la experiencia del usuario. En julio de 2021, Oculus lanzó una API experimental llamada Passthrough que permite una visualización 3D del mundo real gracias a las cámaras frontales del dispositivo. Esta nueva API permite crear aplicaciones de Realidad Mixta (RM), es decir aquellas aplicaciones que combinan aspectos del mundo real (obtenidos desde el Passthrough), con imágenes e información virtuales generados por el propio dispositivo. Una limitación de esta nueva API es que la imagen del Passthrough se reconstruye en escala de grises y tiene cierta inestabilidad especialmente a cortas distancias. El primer objetivo de este TFM es estudiar las características de esta nueva API de Passthrough, explotando su potencial y desarrollando distintas técnicas para minimizar sus limitaciones y así lograr experiencias de RM satisfactorias para el usuario. Para ello se diseñará e implementará una aplicación orientada a la enseñanza del piano como caso de estudio. La aplicación utilizará el Passthrough para mostrar al usuario una imagen del piano real sobre el cual tendrá que ejecutar una pieza musical previamente cargada. La información de las distintas notas (tiempo y duración) aparecerán como rectángulos virtuales que caerán sobre las teclas del piano real. La aplicación mostrará estos objetos virtuales sobre la imagen 3D del mundo obtenida del Passthrough. El segundo objetivo es la validación de esta aplicación con usuarios reales. Para ello se llevará a cabo un estudio comparativo en el cual participarán estudiantes de piano y donde se valorarán los resultados de interpretación de los mismos y su experiencia subjetiva al usar la aplicación de RM. Se pretende comparar dos modos de visualización: "alámbrico" (que consiste en mostrar solo líneas en el borde de las teclas, dejando ver las teclas reales) versus "color sólido" (que oculta las teclas reales). El tercer objetivo es probar esta aplicación utilizando el último dispositivo que ha lanzado Meta al momento de presentar esta solicitud, Meta Quest Pro. Este dispositivo tiene un Passthrough mejorado que permite la visualización en colores gracias a unas cámaras RGB adicionales. Para ello se van a implementar nuevas opciones de visualización aprovechando las mejoras en la calidad de la imagen obtenida del Passthrough y se pretende llevar a cabo un segundo estudio comparativo.

[EN] Extended Reality (XR), a term that encompasses Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR), has gained traction in various sectors such as entertainment, education, design, and simulation. This evolution has been driven by the emergence of advanced hardware (e.g., Oculus Quest 2, HoloLens) and specialized software (e.g., Vuforia, ARCore, ARKit, SparkAR). In July 2021, Meta introduced an experimental API called Passthrough for Oculus Quest 2. This allowed users to view their real environment in 3D, captured by the device's front-facing cameras and sensors. The integration of real-world elements with virtual objects, facilitated by this feature, spurred the development of numerous MR applications. The initial version of Passthrough had limitations, partly because it used infrared cameras intended for tracking, not specifically for this purpose. This resulted in a reconstructed low-resolution image, presented in grayscale. Furthermore, instabilities could be observed, especially at short distances. Recently, Meta introduced the new Quest Pro model offering a color Passthrough with higher quality. The primary goal of this TFM is the development of a MR application geared towards piano teaching as a case study. The application uses Passthrough to display the user's real piano image on which a preloaded music piece must be played. The information of the various notes (timing and duration) is represented as virtual rectangles that fall onto the actual piano keys. The application overlays these virtual objects onto the 3D world image provided by Passthrough. This TFM outlines Passthrough's features and how its potential was leveraged, and its drawbacks minimized to deliver a satisfactory user experience. The second objective is the validation of this application with real users. A total of 33 piano students participated in a study to compare performance outcomes and participants' subjective experience when using an MR application to learn the piano with two display modes (key edge lines (Wireframe) vs. solid color obscuring actual keys (Solid)). Both viewing modes provided a satisfactory experience. While there were no significant differences in the variables analyzed, students preferred the Solid mode, indicating that Passthrough's short-distance limitations should be minimized in application development. The third goal is to contrast the MR application with the reference approach based on Synthesia (using a MIDI keyboard). For this, a new study was conducted. A total of 33 piano students participated in it. Results show that both the MR application and Synthesia are effective for piano learning. However, student performance in playing the pieces was notably superior with the MR application. Both tools offered a satisfactory user experience, but students' subjective perception was more favorable towards the MR application. The fourth objective involves evaluating improvements in hand tracking concerning the use of the native API, i.e., without applying any correction. A comparative study was conducted between the metrics derived from both methods, based on 100 trials encompassing various note sequences. This experiment confirmed the hypothesis that incorporating additional score information contributes to greater hand tracking accuracy.