Resumen:
|
[EN] With the rapid advancements in Virtual Reality and Augmented Reality in the recent
years, and the focus of big companies on these technologies, it is crucial that their
potential and new applications are assessed ...[+]
[EN] With the rapid advancements in Virtual Reality and Augmented Reality in the recent
years, and the focus of big companies on these technologies, it is crucial that their
potential and new applications are assessed while they are still growing. This thesis
summarises the evolution of Virtual Reality and Augmented Reality technologies and
their applications throughout the years, and explores potential applications that have
not been extensively discussed.
We propose a system that mixes Virtual Reality and Augmented Reality technologies,
into an Augmented Virtuality experience. A flying vehicle is being piloted in a
controlled environment, which could be capturing a video feed with a mounted camera.
Meanwhile, a user is immersed into a virtual copy of the real environment thanks to
Virtual Reality. Augmented Reality technologies can use the video feed from the real
environment to augment the virtual environment in real time with predetermined
objects.
The system is divided in three modules: a simulation module made in Unity3D, which
supports the virtual environment and Virtual Reality. A drone tracking module, which
tracks a drone using OptiTrack marker-based motion capture. Finally, an object
tracking module, which tracks objects from a simulated video feed with model-based
markerless tracking technique based on ORB and PnP.
Integration of the different modules was successful, and the final application is able to
augment the Unity environment in real time by tracking the drone and placing it in a
virtual version of the environment, and placing tracked objects correctly in the
environment. An intuitive control scheme, extensible system and customizable
framework were built. The result is an intuitive interface for spatial navigation, which
could be extended to accept multiple sources, thermal/IR information, or even
generating the environment dynamically with SLAM.
[-]
[ES] Con los rápidos avances en Realidad Virtual y Realidad Aumentada en los últimos
años, y el enfoque de las grandes compañías en estas tecnologías, es crucial que su
potencial y sus nuevas aplicaciones se evalúen ...[+]
[ES] Con los rápidos avances en Realidad Virtual y Realidad Aumentada en los últimos
años, y el enfoque de las grandes compañías en estas tecnologías, es crucial que su
potencial y sus nuevas aplicaciones se evalúen mientras todavía están creciendo. Este
trabajo resume la evolución de las tecnologías de Realidad Virtual y Realidad
Aumentada y sus aplicaciones a lo largo de los años, y explora aplicaciones potenciales
que no se han discutido ampliamente.
Proponemos un sistema que combina las tecnologías de Realidad Virtual y Realidad
Aumentada, en una experiencia de Virtualidad Aumentada. Se pilotará un vehículo
volador en un entorno controlado, que podría estar capturando video con una cámara
montada. Mientras tanto, un usuario está inmerso en una copia virtual del entorno real
gracias a la Realidad Virtual. Las tecnologías de realidad aumentada pueden usar la
transmisión de video desde el entorno real para aumentar el entorno virtual en tiempo
real con objetos predeterminados.
El sistema se divide en tres módulos: un módulo de simulación creado en Unity3D,
que se encarga del entorno virtual y la realidad virtual. Un módulo de seguimiento de
drones, que rastrea un dron usando la captura de movimiento basada en el marcador
OptiTrack. Finalmente, un módulo de seguimiento de objetos, que rastrea objetos de un
video con una técnica de seguimiento sin marcadores con modelo, basada en ORB y
PnP.
La integración de los diferentes módulos fue exitosa, y la aplicación final puede
aumentar el entorno de Unity en tiempo real al rastrear el dron y colocarlo en una
versión virtual del entorno, y ubicar los objetos rastreados correctamente en el entorno.
Se diseñó un esquema de controles intuitivo, un sistema extensible y un entorno de
trabajo personalizable. El resultado es una interfaz intuitiva para la navegación
espacial, que podría ampliarse para aceptar múltiples fuentes, información térmica / IR
o incluso generar el entorno dinámicamente con SLAM.
[-]
|