Identificación, segmentación y regresión de elementos para modelado 3D de pies

Abstract

[ES] El objetivo del trabajo es desarrollar un sistema de segmentación que sea capaz de clasificar a nivel de pixel entre clases fondo, folio, pie izquierdo y pie derecho, para un futuro post-procesado de la imagen. Este proceso de segmentación se realizará con modelos "Encoding-Decoding Fully Convolutional" capaces de extraer información contextual a diferentes niveles de escala para una mejor interpretación de la imagen. El resultado de este proceso será un mapa de segmentación con los identificadores de cada clase como valor de pixel. A demás, se realizará una localización de las esquinas del folio para conocer su posición en el espacio 2D mediante una regresión del mapa de calor de los keypoints, definidos como una gaussiana 2D de valores de probabilidad de apariencia del keypoint. Dicha regresión se realizará mediante modelos con módulos Hourglass con supervisión intermedia. Con el mapa de segmentación y la posición de las esquinas, se puede conocer el tamaño del pie relativo al folio y sus medidas antropométricas para un modelado 3D del mismo, siendo este el fin en sí mismo del proyecto. Los modelos implementados se desarrollarán buscando optimizar los resultados y el rendimiento, para un funcionamiento robusto, rápido y preciso. Para el desarrollo del proyecto contamos con una base de datos de unas 6000 imágenes etiquetadas a nivel de segmentación y de puntos clave, proporcionada por el Instituto Biomecánico de Valencia.

[EN] This project describes the development of a segmentation system capable of classifying between background, paper, left foot and right foot classes at a pixel level. It will begin with a proposed segmentation model, PSPNet, which will evolve as the project progresses. The result will be a segmentation map with the identifiers of each class as pixel value. In addition, a task of locating the corners of the folio will be carried out to know their position in 2D space through a regression of the heat map of the keypoints, defined as a 2D Gaussian of appearance probability values. With the segmentation map and the position of the corners, it is possible to know the size of the foot relative to the sheet and its anthropometric measurements for a 3D modeling, this being the goal of the project. The implemented models will be developed in order to optimize results and performance, for robust, fast and accurate operation.