Visual servoing and grasping of known objects by a mobile manipulator

Abstract

[EN] Object grasping and manipulation are important capabilities for domestic service robots. Extensive research work has been done in this area leading to the development of different methods, from approaches based on classical control theory, to fully end-to-end machine learning systems, leveraging advances in computer vision, supervised and reinforcement learning. This project proposes a pipeline to perform a pick-and-place task. To this end, different approaches have been considered by applying visual-servoing as the main component. The depth camera, attached to the robot¿s moving head, locates and tracks the object and stores its position. Meanwhile, the robot reads the position of its joints and applies a control law to reduce the error between its fine effector and the detected object. The use of a convolutional neural network trained in the laboratory to detect the object¿s position was fundamental in this project. The process chain that follows is able to obtain the octomap scene, execute predefined movements to visualise the objects, activate the object detection, and perform the pick and place. During the process, several challenges hindered the task¿s success. In this project, the tools Gazebo, Rviz and Rqt have also been used to create a controlled simulation environment and test the different functionalities of the robot. In addition, problems and solutions addressed in the field of robotics have been described.

[ES] El agarre y la manipulación de objetos son capacidades importantes para los robots de servicio doméstico. Se ha realizado una amplia labor de investigación en este ámbito que ha llevado al desarrollo de diferentes métodos, desde enfoques basados en la teoría de control clásica, hasta sistemas de aprendizaje automático totalmente integrales, aprovechando los avances en visión por ordenador, aprendizaje supervisado y de refuerzo. Este proyecto propone una cadena de procesos para efectuar una tarea de pick and place. Para ello, se han planteado distintas aproximaciones aplicando visual-servoing como componente principal. La cámara de profundidad, fijada a la cabeza móvil del robot, localiza y sigue el objeto guardando su posición. Mientras tanto, el robot lee la posición de sus articulaciones y aplica una ley de control para reducir el error entre su efector final y el objeto detectado. Para detectar la posición del objeto, se da uso de una red neuronal convolucional entrenada en el laboratorio que fue fundamental en este proyecto. La cadena de procesos que sigue es capaz de obtener la escena de octomap, ejecutar movimientos predefinidos para visualizar los objetos, activar la detección de objetos y efectuar el pick and place. Durante el proceso han aparecido diversos retos que han impedido el éxito de la tarea. En este proyecto, también se han usado las herramientas Gazebo, Rviz y Rqt para crear un entorno de simulación controlado y probar las distintas funcionalidades del robot. Además de haberse descrito problemas y soluciones abordadas en el campo de la robótica.