Desarrollo de una app de realidad aumentada con ARCore para evaluar la memoria espacial

Abstract

[ES] En este TFM se desarrolla una aplicación Android de realidad aumentada para evaluar la memoria espacial en humanos. La aplicación permite encontrar y memorizar una serie de estímulos virtuales (visuales y auditivos) sobre una escena real, para luego recolocarlos en los lugares en que se encontraban. Para ello, la aplicación permite crear usuarios, así como sesiones persistentes para poder repetir un mismo escenario sin tener que recolocar los estímulos cada vez. Además, la aplicación permite utilizar, bien objetos 3D, o bien sonidos emitidos desde distintas posiciones. La tecnología que se ha empleado para este TFM es el SDK de Google para realidad aumentada, ARCore, así como las Spatial Cloud Anchors de Microsoft. Finalmente, utilizando esta aplicación, se ha realizado un estudio comparativo en el que se ha evaluado la memoria espacial de los participantes utilizando el sentido de la vista y el del oído. De los resultados del estudio, se concluye que nuestra memoria espacial responde mejor a estímulos visuales que a los estímulos auditivos, necesitando un menor número de intentos para colocar los estímulos en la posición correcta. Finalmente, cabe destacar que no se apreciaron diferencias en el rendimiento ni en función del género, ni de la edad de los participantes. Este TFM se enmarca en el proyecto A3Senses, dirigido por la directora de este TFM.

[EN] In this master's degree final project, an augmented reality Android application is developed to evaluate spatial memory in humans. The application allows you to find and memorize a series of virtual stimuli on a real scene, and then reposition them in the places where they were. For this end, the application the creation of new users, as well as persistent sessions to be able to repeat the same scenario without having to reposition the stimuli each time. In addition, the application allows to use it, either with 3D objects, or sounds emitted from different positions. The technology used for this master¿s degree final project is the Google SDK for augmented reality, ARCore, as well as the Microsoft Spatial Cloud Anchors. Finally, using this application, a comparative study has been conducted in which the spatial memory of the participants has been evaluated using the sense of sight and hearing. From the results of the study, it is concluded that our spatial memory responds better to visual stimuli than to auditory stimuli, requiring fewer attempts to place the stimuli in the correct position. Finally, it should be noted that there were no differences in performance based on the gender or the age of the participants. This master's degree final project is part of the A3Senses project, managed by the director of this project.

[CA] En aquest treball es desenvolupa una aplicació Android de realitat augmentada per a avaluar la memòria espacial en éssers humans. L’aplicació permet trobar i memoritzar una sèrie d’estímuls virtuals (visuals i auditius) sobre una escena real, per a després recol·locar-los en els llocs on es trobaven. Per a això, l’aplicació permet crear usuaris, així com sessions persistents per a poder repetir un mateix escenari sense tenir que recol·locar els estímuls cada vegada. A més, l’aplicació permet utilitzar, o bé objectes 3D, o bé con sons emesos des de distintes posicions. La tecnologia que s’ha emprat per a aquest TFM es el SDK de Google per a realitat augmentada, ARCore, així com les Spatial Cloud Anchors de Microsoft. Finalment, utilitzant aquesta aplicació, s’ha realitzat un estudi comparatiu en el que s’ha avaluat la memòria espacial dels participants utilitzan el sentit de la vista o el de l’oïda. Dels resultats de l’estudi, es conclou que la nostra memòria espacial respon millor als estímuls visuals que als estímuls auditius, necessitant un menor nombre d’intents per a col·locar els estímuls en la posició correcta. Finalment, cal destacar que no es van apreciar diferències en el rendiment ni en funció del gènere, ni la edat dels participants. Aquest treball s’emmarca en el projecte A3Senses, dirigit per la directora d’aquest TFM.