Implementation of an artificial vision system in line with an industrial robot for collaborative tasks with humans

Abstract

[ES] El objetivo del TFG es la implementación de un sistema de visión artificial sobre un robot de tipo industrial (brazo robótico) con el fin de crear un sistema realimentado que influya sobre los movimientos y cálculos del robot con el fin de crear un ambiente colaborativo humano-máquina. El robot industrial es el modelo HCR-12 de la empresa coreana Hanwha. Este modelo, a pesar de sus grandes dimensiones, siendo capaz de realizar tareas pesadas y complejos movimientos, no cuenta con una fácil implementación de sistemas de visión artificial o programación externa de scripts, siendo actualmente únicamente posible el uso de cámaras de carácter industrial (como por ejemplo COGNEX). El problema con este tipo de equipos es que son muy costosos (del orden de miles de euros). Es por ello por lo que la motivación de este TFG es abaratar costes para este tipo de equipamientos que no cuentan con una buena compatibilidad para sistemas externos. Con el fin de lograr el objetivo y hacer todo el proceso más dinámico, se ha planteado como escenario para trabajar un entorno dónde el robot junto a un humano pueda jugar al tres en raya. El objetivo concreto es recolectar la información del estado del juego y de la posición y orientación del tablero por parte del sistema de visión. Esta información ha de ser tratada a su vez por un sistema de ¿machine learning¿ que decida cual deberá ser el siguiente movimiento por parte del robot. Una vez se conozca el siguiente movimiento a realizar, y junto a la información del tablero, se procesará las rotaciones necesarias por cada motor del brazo robótico para lograr el movimiento deseado. Además, el sistema deberá ser capaz de detectar cuando ha habido un cambio en el tablero por parte del ser humano

[EN] The purpose of the project is to make the Hanwha HCR-12 Cobot from MA-IT smart. This means that the cobot should be able to make decision based on information it receives instead of only going from point A to B. It must be aware of its surroundings and it needs to be able to work safely with humans around. To define a smart cobot the company is looking to make it capable of playing Tic Tac Toe against humans. To accomplish this task it was set out to find ways to make cobot communicate with a python script for ease of programming. Was decided upon a Modbus communication with the cobot and the pc. This allows to change registers in Modbus that the pc and the Cobot can read. Based on the values in these registers the cobot and the pc can make decisions. The camera that allows the cobot to see its environment gives feedback to the python script and the python script then decrypts the information from the camera into Modbus signals to the cobot. Based on what is written to these registers the cobot makes decisions. This way the cobot does not directly communicate with the camera but through the python script. Then another safety implementation is done through the use of a second camera that is connected to a second pc running a python script that can detect hands in the camera feed. Whenever it does it will send a singal through Modbus to the cobot. The Cobot checks for this signal in a thread constantly and stops the cobots movements whenever it detects a value. To actually play the game 3d printed pieces are used that the cobot can pick up from a ramp. Then the cobot places those pieces on the by the python script calculated locations