Desarrollo y validación de una aplicación de realidad virtual para memoria espacial utilizando fotografías panorámicas

Abstract

[ES] Oculus Quest es uno de los primeros cascos de realidad virtual (RV) autónomo. Tiene un procesador integrado, así como una unidad de almacenamiento. Todo ello permite que se pueda utilizar sin necesidad de estar conectado a un ordenador. Además, dispone de conexión Wi-Fi y Bluetooth. Oculus Quest incorpora cuatro cámaras en escala de grises. En el software integrado en Oculus se utilizan estas cámaras para detectar el área en la que está situado el usuario, así como para detectar el movimiento del mismo mediante el uso de técnicas de SLAM. Para la delimitación del área a utilizar en las aplicaciones a ejecutar en Oculus Quest, se muestra la imagen del mundo real en escala de grises y se superponen elementos virtuales en color para delimitar dicha zona y mostrar los límites de la misma. Este dispositivo incluye dos controladores táctiles, que incluyen 5 botones y un joystick analógico. Gracias a las cámaras se puede detectar la posición de estos controladores, que simulan las manos del usuario dentro del mundo virtual. Además, desde 2020, Oculus Quest integra un sistema de reconocimiento de manos, con las ventajas que ello conlleva. El objetivo principal de este TFM es el desarrollo y validación un sistema de RV basado en entornos reales mediante imágenes 360º, en los cuales los usuarios tengan que interactuar con dicho entorno para la evaluación de su memoria espacial. La memoria espacial es la capacidad que tienen los humanos para almacenar y recordar representaciones de estímulos espaciales. La memoria espacial se usa, por ejemplo, para almacenar y recordar la ruta para encontrar un lugar que fue visitado previamente o donde hemos dejado nuestras pertenencias (por ejemplo, unas gafas o unas llaves). La técnica conocida como fotografía de RV permite la visualización interactiva de fotografías panorámicas de gran angular (generalmente, 360º). En la aplicación desarrollada se han incluido distintos entornos mediante el uso de fotografías panorámicas. El usuario recorre dichos entornos de forma interactiva. En dichos entornos se pueden distribuir tantos objetos adicionales como se desee. El usuario tiene que ver y recordar la posición de los mencionados objetos (fase de aprendizaje), que se comprueba en una segunda fase de evaluación. La aplicación desarrollada en este TFM puede resultar muy útil para personas con movilidad reducida, además de con niños, ya que la interacción con la aplicación es muy sencilla, además de poder considerarse un videojuego. Se ha llevado a cabo un estudio involucrando a 25 participantes. Los datos obtenidos del mismo se han comparado con otro estudio similar en el que se utilizó una aplicación de RV sin utilizar fotografía panorámica. Del análisis estadístico se puede concluir que no ha habido diferencias significativas en el número de objetos colocados correctamente entre las dos aplicaciones (fotografía panorámica y no fotografía panorámica). Por otra parte, el uso de la fotografía panorámica resultó efectivo para el recuerdo a corto plazo, ya que los participantes después de usar la aplicación pudieron recordar verbalmente los objetos y colocarlos en un mapa sin diferencias significativas con respecto a los objetos correctamente colocados usando la aplicación de RV. Los resultados de rendimiento al utilizar la aplicación de RV con fotografía panorámica fueron independientes de la edad y el género. Los participantes valoraron positivamente nuestra aplicación.

[EN] Oculus Quest is one of the first standalone Virtual Reality (VR) headsets. It has an integrated CPU as well as a storage unit. All this allows it to be used without the need to be connected to a computer. In addition, it has Wi-Fi and Bluetooth connection. Oculus Quest incorporates four grayscale cameras. In the software integrated in Oculus, these cameras are used to detect the area in which the user is located, as well as to detect the movement of the user through the use of SLAM techniques. To delimit the area to be used in the apps to run in Oculus Quest, the real-world image is shown in grayscale and virtual elements in colour are superimposed to delimit area and show its limits. This device includes two touch controllers, including 5 buttons and an analogic joystick. Thanks to the cameras, the position of these controllers can be detected, which simulate the user's hands within the virtual world. In addition, from 2020, Oculus Quest integrates a hand recognition system, with the advantages that this entails. The main objective of this TFM is the development and validation of a virtual reality system based on real environments using 360º images, in which users have to interact with the environment in order to evaluate their spatial memory. Spatial memory is the ability of humans to store and recall representations of spatial stimuli. Spatial memory is used, for example, to store and recall the route to find a previously visited place or where we have left our belongings (e.g., glasses or keys). The technique known as virtual reality photography allows the interactive visualisation of wide-angle panoramic photographs (generally 360º). In the application developed, different environments have been included through the use of panoramic photographs. The user interactively navigates through these environments. As many additional objects as desired can be distributed in these environments. The user has to see and remember the position of these objects (learning phase), which is tested in a second evaluation phase. The application developed in this TFM can be very useful for people with reduced mobility, as well as for children, as the interaction with the application is very simple, and it can also be considered a video game. A study involving 25 participants has been conducted. The data obtained from this study was compared with a similar study using a VR application without using panoramic photography. From the statistical analysis it can be concluded that there was no significant difference in the number of correctly placed objects between the two applications (panoramic photography and non-panoramic photography). On the other hand, the use of panoramic photography was effective for short-term recall, as participants after using the application were able to verbally recall objects and place them on a map with no significant differences compared to correctly placed objects using the VR application. Performance results when using the VR application with panoramic photography were independent of age and gender. Participants rated our application positively.