Aplicación de pick and place de piezas de LEGO con visión artificial en un robot colaborativo

Abstract

[ES] El trabajo desarrollado consiste principalmente en una aplicación de visión artificial desarrollada con el software Merlic de MVTec donde la cámara detecta las piezas de construcción MegaBloks correspondientes para construir cualquier figura con estas.

Para ello las piezas de MegaBlocks pasan por una cinta transportadora, y la cámara, colocada en una posición fija arriba de la cinta transportadora, analiza y clasifica las piezas mediante un programa de aprendizaje profundo, o inteligencia artificial, desarrollado con el software Deep Learning Tool también de MVTec. Comparando esta clasificación de las piezas con una base de datos donde se almacena la información de las piezas necesarias y la posición de estas en el área de montaje, el software manda una señal por TCP/IP (Socket) a un robot colaborativo de Universal Robots, en concreto un UR3e, así este robot coge la pieza de la cinta transportadora y la coloca justo en su sitio para construir la pieza final, que es un puente de unas 10 piezas distintas tanto en forma y color.

Para ello previamente hemos realizado una calibración de la cámara y un preprocesamiento de la imagen con Merlic para el correcto funcionamiento de la clasificación de piezas con el software de aprendizaje.

En cuanto a los resultados obtenidos a la finalización del proyecto son satisfactorios, consiguiendo un correcto funcionamiento de toda la aplicación, tanto en el robot como en la cámara de visión artificial, logrando unos buenos porcentajes de precisión en los modelos en los clasificadores de piezas.

[EN] The work to be developed consists mainly of an artificial vision application developed with MVTec's Merlic software where the camera will detect the corresponding MegaBloks construction pieces to build any figure with them.

To do this, the MegaBlocks pieces will go through a conveyor belt, and the camera, which will be placed in a fixed position above the conveyor belt, will analyze and classify the pieces through a deep learning program, or artificial intelligence, developed with the Deep Learning Tool software also from MVTec. Comparing this classification of the parts with a database containing the information on the necessary parts and their position in the assembly area, the software will send a signal via TCP/IP (Socket) to a Universal Robots collaborative robot, specifically a UR3e, so that this robot takes the piece from the conveyor belt and places it exactly in its place to build the final piece, which in our case will be a bridge of about 10 different pieces in both shape and color.

For this, it will be necessary to previously calibrate the camera and the robot, in addition to preprocessing the image with Merlic for the correct functioning of the part classification with the learning software.

As for the results obtained at the end of the project, they are satisfactory, achieving a correct operation of the entire application, both in the robot and in the artificial vision camera, achieving good percentages of precision in the part classifiers.

[CA] El treball a desenvolupar consisteix principalment en una aplicació de visió artificial desenvolupada amb el programari Merlic de MVTec on la cambra anirà detectant les peces de construcció MegaBloks corresponents per a construir qualsevol figura amb aquestes. Per a això les peces de MegaBlocks aniran passant per una cinta transportadora, i la cambra, que estarà col·locada en una posició fixa a dalt de la cinta transportadora, anirà analitzant i classificant les peces mitjançant un programa d’aprenentatge profund, o intelligència artificial, desenvolupat amb el programari Deep Learning Tool també de MVTec. Comparant aquesta classificació de les peces amb una base de dades on estarà la informació de les peces necessàries i la posició d’aquestes en l’àrea de muntatge, el programari manarà un senyal per TCP/IP (Socket) a un robot collaboratiu d’Universal Robots, en concret un UR3e, perquè aquest robot agafe la peça de la cinta transportadora i la colloque just en el seu lloc per a construir la peça final, que en el nostre cas serà un pont d’unes 10 peces diferents punt en forma i color. Per a això prèviament caldrà fer un calibratge de la cambra i del robot, a més d’un preprocessament de la imatge amb Merlic per al correcte funcionament de la classificació de peces amb el programari d’aprenentatge. Quant als resultats obtinguts a la finalització del projecte són satisfactoris, aconseguint un correcte funcionament de tota l’aplicació, tant en el robot com en la càmera de visió artificial, aconseguint uns bons percentatges de precisió en els models en els classificadors de peces.