Detección en tiempo real del punto de agarre del objeto más accesible en entornos industriales mediante aprendizaje profundo.

Abstract

[ES] En este proyecto se pretende obtener un sistema basado en redes neuronales que, en tiempo real, sea capaz de detectar el mejor agarre robótico del objeto más accesible entre los detectados en ese instante en un entorno industrial, concretamente para tareas de carga-descarga en máquinas, picking u otras tareas de precisión. Esto se va a lograr mediante redes neuronales usadas en segmentación semántica entrenadas con un conjunto de entrenamiento creado a partir de imágenes RGB y su codificación de la profundidad, las cuales son extraídas desde la cámara Intel RealSense Depth Camera D435 usada en el entorno de trabajo y cuyo etiquetado de segmentación se ha realizado mediante la herramienta CVAT. La red se encargará de reconocer la segmentación de los objetos disponibles para ser agarrados en ese instante (sin ser superpuestos por otros objetos), y con esta salida y mediante técnicas de visión por computador con la librería OpenCV de Python, se obtendrá el mejor punto de agarre posible para uno de ellos.

[EN] This project aims to obtain a system based on neural networks that, in real-time, can detect the best robotic grasp of the most accessible object among those detected at that moment in an industrial environment, specifically in tasks of machine loading-unloading, picking, and other precision tasks. This will be achieved by means of neural networks for semantic segmentation trained with a training set created from RGB images and their depth encoding, which are extracted from the environment's camera Intel RealSense Depth Camera D435 and whose segmentation labelling has been carried out using the CVAT tool. This net will recognize the segmentation of the objects available to be grasped at that moment (without opposition from other objects), and with this output and through computer vision techniques implemented in the OpenCV library in Python, the best possible grasp of one of the objects will be obtained.