Guiding 3D human pose estimation using feet pressure sensors

Abstract

[ES] La Estimación de la Pose Humana es una tarea en el campo de la visión artificial que implica identificar y capturar las posiciones y orientaciones del cuerpo humano. Esto se hace normalmente mediante la predicción de las ubicaciones de puntos clave específicos, como las manos, la cabeza y los codos, en una imagen. La Estimación de la Pose Humana tiene aplicaciones en diferentes industrias, como la robótica, la realidad aumentada, los videojuegos, la accesibilidad, los deportes y la seguridad.

Grazper Technologies ApS, la empresa en la que se realiza esta tesis, está trabajando en el desarrollo de un sistema de estimación de la pose humana 3D en tiempo real utilizando una configuración de múltiples cámaras. La aplicación principal de este sistema se encuentra en el campo de la seguridad. Sin embargo, uno de los principales desafíos en la implementación de su sistema es la necesidad de contar con múltiples cámaras que observen la escena desde diferentes ángulos. Esta restricción limita la usabilidad del mismo, especialmente en aplicaciones de seguridad donde es poco probable tener más de una o dos cámaras apuntando al mismo lugar al mismo tiempo.

El objetivo de la presente tesis es estudiar si podemos mejorar la estimación de la pose 3D en estos casos incorporando información sobre el contacto de los pies del sujeto con el suelo. Para hacerlo, adquiriremos un par de plantillas IoT conectadas que pueden hacer mediciones de presión y las incorporaremos a la configuración actual de adquisición de video de Grazper.

Durante el transcurso de la tesis, diseñamos una configuración de adquisición de datos estable y automatizada, lo que permitió a Grazper grabar fácilmente conjuntos de datos de alta calidad con el potencial de obtener señales de presión sincronizadas con el video. Demostramos la viabilidad de predecir la presión de la planta del pie basándonos únicamente en la pose utilizando técnicas de deep learning. Finalmente, mostramos cómo el contacto de la planta del pie puede mejorar el rendimiento de un detector de pose en escenarios con menos cámaras.

[EN] Human Pose Estimation is a task in the field of computer vision that involves identifying and capturing the positions and orientations of the human body. This is typically done by predicting the locations of specific keypoints, such as hands, head, and elbows, in an image. Human Pose Estimation has various applications in different industries, including robotics, augmented reality, gaming, accessibility, sports, and security. Grazper Technologies ApS, the partner for this thesis, is working on developing a realtime 3D human pose estimation system using a multicamera setup. The primary application of this system is in the field of security. However, one of the main challenges in implementing this system is the requirement of multiple cameras to view the same scene from different angles. This restriction limits the usability of the system, especially in security applications where it is unlikely to have more than one or two cameras pointing at the same location at the same time. The aim of the present thesis is to study whether we can improve the 3D pose estimation in these cases by incorporating knowledge about foot contact. To do so, we will acquire an IoTconnected sole pair that can make pressure measurements, and incorporate it into Grazper¿s current video acquisition setup. During the course of the thesis, we designed a reliable, stable, and automated data ac quisition setup, enabling Grazper to easily record highquality datasets with the potential to obtain synchronized ground truth sole pressure signals. We prove the feasibility of predicting sole pressure based on the pose using deep learning techniques. Finally, we show how sole contact can enhance the performance of a pose detector in scenarios with fewer cameras. These results offer a strong proof of concept for future AI solutions and demonstrate the potential of this technique for further development and advancement.