Desarrollo de un aplicación interactiva con Intel RealSense

Abstract

[ES] Quién no ha deseado alguna vez pasar las diapositivas de una presentación con el simple hecho de mover la mano. En este TFG se ha desarrollado una aplicación que te permitirá hacer tus deseos realidad. Una de las tendencias tecnológicas que más repercusión está teniendo en la sociedad es el procesado de imágenes tridimensionales, que se refiere a la disponibilidad de la información de color junto con la de distancia de cada punto a la cámara. A lo largo de mi vida laboral he adquirido conocimientos sobre distintos sistemas de procesado de imágenes 2D y datos para su posterior integración en entornos 3D. Uno de los grandes retos de trabajar en entornos virtuales en 3D es la adquisición, procesado y generación de información en tiempo real. Esta información se puede obtener bien a través de técnicas de la visión estéreo o bien por la disponibilidad de obtener la información de coordenadas espaciales mediante el propio sensor, la cámara. Este es el caso de las cámaras Intel RealSense. Este trabajo trata sobre su desarrollo y sus aplicaciones a nivel tanto comercial como de uso doméstico. Para ello se hará uso de la cámara Intel RealSense SR300 y el SDK Intel RealSense. Hablaremos de las dependencias de estas tecnologías y de los modos de funcionamiento que ofrece para conseguir la interacción con el usuario. Después se realizarán una serie de experimentaciones para determinar su rango de uso y finalmente, se realizará una aplicación que integrará esas funcionalidades. La aplicación reconocerá gestos en tiempo real y los asociará a acciones en otras aplicaciones. A lo largo de este documento descubrirá los pasos que se han realizado para su desarrollo.

[CA] Qui no ha desitjat alguna vegada passar les diapositives d'una presentació amb el simple fet de moure la mà. En aquest TFG s'ha desenvolupat una aplicació que et permetrà fer els teus desitjos realitat. Unes de les tendències tecnològiques que més repercussió està tenint en la societat és el processat d'imatges tridimensionals, que es refereix a la disponibilitat de la informació de color juntament amb la de distància de cada punt a la càmera. Al llarg de la meua vida laboral he adquirit coneixements sobre diferents sistemes de processament d'imatges 2D i dades per a la posterior integració en entorns 3D. Un dels grans reptes de treballar en entorns virtuals en 3D és l'adquisició, processament i generació d'informació en temps real. Aquesta informació es pot obtenir bé a través de tècniques de la visió estèreo o bé per la disponibilitat d'obtenir la informació de coordenades espacials mitjançant el propi sensor, la càmera. Aquest és el cas de les càmeres Intel RealSense. Aquest treball tracta sobre el seu desenvolupament i les seues aplicacions a nivell tant comercial com d'ús domèstic. Per això es farà ús de la càmera Intel RealSense SR300 i el SDK Intel RealSense. Parlarem de les dependències d'aquestes tecnologies i de les maneres de funcionament que ofereix per aconseguir la interacció amb l'usuari. Després es realitzaran una sèrie d'experimentacions per determinar el seu rang d'ús i finalment, es realitzarà una aplicació que integrarà aquestes funcionalitats. L'aplicació reconeixerà gestos en temps real i els associarà a accions en altres aplicacions. Al llarg d'aquest document descobrirà els passos que s'han realitzat per al seu desenvolupament

[EN] Who has never wished to pass the slides of a presentation just by moving the hand. In this TFG an application has been developed that will allow you to make your wishes come true. One of the technological trends that is having the most impact on society is the processing of three-dimensional images, which refers to the availability of color information along with the distance of each point to the camera. Throughout my working life I have acquired knowledge of different 2D image processing systems and data for later integration into 3D environments. One of the great challenges of working in 3D virtual environments is the acquisition, processing and generation of information in real time. This information can be obtained either through stereo viewing techniques or paper by the availability of spatial coordinate information through the sensor itself, the camera. This is the case with Intel RealSense cameras. This deals with its development and applications for both commercial and domestic use. This will be done using the Intel RealSense SR300 camera and the Intel RealSense SDK. We will talk about the dependencies of these technologies and how they work to achieve user interaction. Afterwards, a series of experiments will be carried out to determine its range of use and finally, the application will be developed that will integrate these functionalities. The application will recognize gestures in real time and associate them with actions in other applications. Throughout this document you will discover the steps that have been taken for its development.