Realidad aumentada e Inteligencia Artificial en un entorno de Tactile Internet

Abstract

[ES] El objetivo de este Trabajo de Fin de Grado consiste en el diseño y desarrollo de un proyecto industrial de realidad aumentada e inteligencia artificial.

En concreto, el caso de uso del que este proyecto forma parte se centra en asistir a determinados usuarios (mecánicos, integradores de sensores, etc.) para localizar posibles fallos de sensores implementados en motores automovilísticos.

Para ello, los distintos elementos proclives de fallo se mapean con posiciones físicas de la zona del motor, de forma que, al diagnosticar un fallo, un usuario es dirigido al sensor problemático por medio de herramientas de visión artificial y elementos de realidad aumentada. Este proyecto se centra en tres partes: (i) la detección de objetos en streams de video, (ii) la representación de dichos objetos en interfaces gráficas de usuario (PC, dispositivos móviles, gafas de AR) y (iii) la comunicación entre las distintas interfaces y el servidor de procesamiento; todo ello, en tiempo real.

Las tecnologías principales que se emplean son TensorFlow, OpenCV y Android, entre otras varias. Entre los elementos de hardware usados para las pruebas cabe destacar el uso de gafas EPSON Moverio BT-350 y un servidor de altas prestaciones con una tarjeta gráfica NVIDIA A40.

[EN] The aim of this Final Degree Project is to design and develop an industrial project using augmented reality and artificial intelligence.

Specifically, the use case of which this project is part of focuses on assisting certain users (mechanics, sensor integrators, etc.) in locating possible failures of these sensors implemented in automotive engines.

To achieve this, the different elements prone to failure are mapped with physical positions of the engine area, so that when a failure is diagnosed, a user is directed to the problematic sensor through use of computer vision tools and augmented reality elements. This project focuses on three parts: (i) the detection of objects in video streams, (ii) the representation of these objects in graphical user interfaces (PC, mobile devices, AR glasses) and (iii) the communication between those different interfaces and the processing server, all in real time.

The main technologies used are TensorFlow, OpenCV, and Android, among several others. Notably, among the hardware elements used for testing, the use of EPSON Moverio BT-350 glasses and a high-performance server with an NVIDIA A40 graphics card stands out.