Living Within an Augmented Reality World

Abstract

[EN] With the rapid advancements in Virtual Reality and Augmented Reality in the recent years, and the focus of big companies on these technologies, it is crucial that their potential and new applications are assessed while they are still growing. This thesis summarises the evolution of Virtual Reality and Augmented Reality technologies and their applications throughout the years, and explores potential applications that have not been extensively discussed. We propose a system that mixes Virtual Reality and Augmented Reality technologies, into an Augmented Virtuality experience. A flying vehicle is being piloted in a controlled environment, which could be capturing a video feed with a mounted camera. Meanwhile, a user is immersed into a virtual copy of the real environment thanks to Virtual Reality. Augmented Reality technologies can use the video feed from the real environment to augment the virtual environment in real time with predetermined objects. The system is divided in three modules: a simulation module made in Unity3D, which supports the virtual environment and Virtual Reality. A drone tracking module, which tracks a drone using OptiTrack marker-based motion capture. Finally, an object tracking module, which tracks objects from a simulated video feed with model-based markerless tracking technique based on ORB and PnP. Integration of the different modules was successful, and the final application is able to augment the Unity environment in real time by tracking the drone and placing it in a virtual version of the environment, and placing tracked objects correctly in the environment. An intuitive control scheme, extensible system and customizable framework were built. The result is an intuitive interface for spatial navigation, which could be extended to accept multiple sources, thermal/IR information, or even generating the environment dynamically with SLAM.

[ES] Con los rápidos avances en Realidad Virtual y Realidad Aumentada en los últimos años, y el enfoque de las grandes compañías en estas tecnologías, es crucial que su potencial y sus nuevas aplicaciones se evalúen mientras todavía están creciendo. Este trabajo resume la evolución de las tecnologías de Realidad Virtual y Realidad Aumentada y sus aplicaciones a lo largo de los años, y explora aplicaciones potenciales que no se han discutido ampliamente. Proponemos un sistema que combina las tecnologías de Realidad Virtual y Realidad Aumentada, en una experiencia de Virtualidad Aumentada. Se pilotará un vehículo volador en un entorno controlado, que podría estar capturando video con una cámara montada. Mientras tanto, un usuario está inmerso en una copia virtual del entorno real gracias a la Realidad Virtual. Las tecnologías de realidad aumentada pueden usar la transmisión de video desde el entorno real para aumentar el entorno virtual en tiempo real con objetos predeterminados. El sistema se divide en tres módulos: un módulo de simulación creado en Unity3D, que se encarga del entorno virtual y la realidad virtual. Un módulo de seguimiento de drones, que rastrea un dron usando la captura de movimiento basada en el marcador OptiTrack. Finalmente, un módulo de seguimiento de objetos, que rastrea objetos de un video con una técnica de seguimiento sin marcadores con modelo, basada en ORB y PnP. La integración de los diferentes módulos fue exitosa, y la aplicación final puede aumentar el entorno de Unity en tiempo real al rastrear el dron y colocarlo en una versión virtual del entorno, y ubicar los objetos rastreados correctamente en el entorno. Se diseñó un esquema de controles intuitivo, un sistema extensible y un entorno de trabajo personalizable. El resultado es una interfaz intuitiva para la navegación espacial, que podría ampliarse para aceptar múltiples fuentes, información térmica / IR o incluso generar el entorno dinámicamente con SLAM.