Desarrollo de un sistema de desempaquetado mediante visión artificial con un robot cooperativo

Abstract

[ES] En este trabajo final de master se desarrolla un sistema de bin picking utilizando la cámara Wrist Camera de RobotiQ que incorpora un robot UR3e. Un sistema de bin picking se basa en el vaciado de cajas mediante el agarre de los componentes de forma automática, normalmente utilizando un robot. El problema de bin picking tiene su origen en los principios de la automatización, existiendo artículos planteando soluciones desde hace más de 50 años. Aún así, es un tema de bastante actualidad, debido a su necesidad para automatizar completamente líneas de producción. Para este proyecto se han planteado dos objetivos principales, la estimación de la pose 6D de un objeto texturizado, y el desarrollo de un proceso de bin picking con un robot colaborativo, estos objetivos se han dividido en objetivos secundarios para facilitar el enfoque de los problemas. Durante el desarrollo del proyecto, se explican dos métodos de adquisición de imágenes desde la cámara utilizada, uno de forma remota y uno mediante conexión USB. La detección de la pose se divide en dos partes principales, primero se ha de segmentar la imagen en imágenes donde solo aparezca una caja. Esto se realiza utilizando un modelo de inteligencia artificial basado en YOLOv5, que ha sido entrenado para el objeto de interés mediante un dataset generado de forma digital. Para la segunda parte, al detección de la pose de las cajas, se han desarrollado dos métodos, un método basado en la comparación del modelo 3D del objeto con la escena, y un método basado en la búsqueda de una homografía entre una imagen de referencia y la escena. Respecto a la comunicación, se ha utilizado una comunicación mediante sockets TCP, utilizando el PC del usuario como servidor y el robot como cliente. Mediante esta comunicación se asegura que no hay pérdida de mensajes y se consigue comunicar efectivamente las instrucciones al robot. Finalmente, se han realizado comprobaciones de que la detección de la posición funciona correctamente, utilizando diferentes escenas con múltiples cajas y parcialmente ocluidas. Estos experimentos han proporcionado resultados positivos, con los que se puede afirmar que el sistema funciona correctamente.

[EN] This master thesis develops a bin picking system using the Wrist Camera from RobotiQ that incorporates a UR3e robot. A bin picking system is based on emptying boxes by automatically gripping the components, typically using a robot. The bin picking problem has its origins in the beginnings of automation, and there have been articles proposing solutions for more than 50 years. Even so, it is a very current issue, due to its need to fully automate production lines. For this project, two main objectives have been set, the estimation of the 6D pose of a textured object, and the development of a bin picking process with a collaborative robot, these objectives have been divided into secondary objectives to facilitate the approach to the problems. During the development of the project, two methods of image acquisition from the camera used are explained, one remotely and one via USB connection. The pose detection is divided into two main parts, first the image has to be segmented into images where only one box appears. This is done using an artificial intelligence model based on YOLOv5, which has been trained for the object of interest using a digitally generated dataset. For the second part, the detection of the pose of the boxes, two methods have been developed, a method based on the comparison of the 3D model of the object with the scene, and a method based on the search for a homography between a reference image and the scene. Regarding communication, TCP socket communication has been used, using the user’s PC as the server and the robot as the client. This communication ensures that there is no loss of messages and effectively communicates the instructions to the robot. Finally, verifications that the position detection works correctly have been performed, using different scenes with multiple boxes and partially occluded. These experiments have provided positive results, with which it can be affirmed that the system works correctly.