Implementación de reconocimiento de pose a partir de video RGB plano en aplicación 3D

Abstract

[ES] En el campo de las aplicaciones multimedia y la producción audiovisual, es innegable hoy en día la influencia de los sistemas de captura de movimiento y reconocimiento de pose. Aplicable a sectores tan variados como el cine o la medicina, esta tecnología ofrece un amplio espacio para la innovación y el desarrollo. Sin embargo, el alto coste de los sistemas MoCap utilizados en la industria, limita el acceso a ella significativamente. En este proyecto, se analizarán las distintas alternativas disponibles al público general para el reconocimiento de pose en imagen plana, es decir, sin información de profundidad. Tras realizar una comparativa basada en su accesibilidad y capacidades se escogerá la opción que mejor se adapte a la siguiente etapa. La parte práctica de este trabajo tendrá como objetivo hacer uso de la librería escogida anteriormente. Se implementará como parte del desarrollo de una aplicación, que reflejará movimiento humano, capturado en vivo con una webcam, en un modelo 3D. Se hará uso de herramientas como Blender y Unity. El objetivo de este Trabajo de Final de Grado es estudiar la actualidad del reconocimiento de pose y poner en práctica los conocimientos adquiridos, acercando así sus múltiples aplicaciones a un sector demográfico más amplio. Además, se realizará la implementación del reconocimiento de pose haciendo uso de una de estas librerías, sentando las bases para su aplicación en el entrenamiento de habilidades motoras de forma remota.

[EN] In the field of multimedia applications and audiovisual production, the influence of motion capture and pose recognition systems is undeniable today. Applicable to sectors as varied as cinema or medicine, this technology offers ample space for innovation and development. However, the high cost of the MoCap systems used in the industry limits access to it significantly. In this project, the different alternatives available to the general public for pose recognition in a flat image, that is, without depth information, will be analyzed. After making a comparison based on its accessibility and capabilities, the option that best suits the next stage will be chosen. The practical part of this work will aim to make use of the library chosen previously. It will be implemented as part of the development of an application, which will reflect human movement, captured live with a webcam, in a 3D scene. The objective of this Final Degree Project is to study the current state of pose recognition and put the knowledge acquired into practice, thus bringing its multiple applications closer to a broader demographic sector. In addition to the implementation of one of these libraries, laying the foundations for its application in training motor skills remotely.