Localización 3D de objetos mediante técnicas de estereovisión con cámaras de gran angular para manipulación de objetos a través de un brazo robótico.

Abstract

[ES] Estado del arte:

Localización 3D de objetos Uno de los problemas que se presenta en la localización de objetos 3D basado en diferentes modelos de cámaras es la estimación de la información 3D en coordenadas mundo a partir de sus proyecciones en las imágenes, como mencionan los diferentes autores con sus respectivos métodos para localización de objetos: estimación algoritmo de aprendizaje (Tran et al., 2023), nubes de puntos a través de sensores (Fradejas Rodrigáñez & Universitat Autònoma de Barcelona. Escola d Enginyeria, 2018).

Técnicas de estereovisión Los métodos de estereovisión tienen un mismo principio. Se tiene dos cámaras separadas a una distancia, que simulan el comportamiento del ojo humano, por tanto, tendrán un efecto de disparidad binocular horizontal o vertical dependiendo de su orientación. Esta disparidad permite establecer la percepción de la profundidad (Cárdenas Quiroga et al., 2015). Se disponen de diferentes técnicas para mejorar la precisión y robustez de la estimación de la profundidad teniendo en cuenta varios aspectos importantes como la iluminación y el ruido de las variables (GRADOLEWSKI et al., 2023). En el presente trabajo utilizaremos la biblioteca de OpenCV (Biyyapu et al., 2024) para la aplicación de distintas funciones y métodos en donde se aplica estereovisión.

Cámaras de gran angular Son dispositivos conformados con lentes que poseen una distancia focal pequeña. La distancia focal es la distancia entre el centro óptico de la lente y el sensor de la cámara. Una distancia focal pequeña permite un ángulo de visión amplio, pero genera una distorsión en la imagen. Esta distorsión genera un efecto visual de concavidad, lo que se define como distorsión negativa o de barrilete , o de efecto convexo conocida como distorsión de cojín (Mera Gutiérrez, 2015).

Brazo robótico Se plantea el uso de dos cámaras fijas para obtener el punto 3D de un objeto con respecto al sistema de referencia base del robot, el cual por medio de un socket se enviará al programa manipulador del brazo para coger el objeto. Un planteamiento diferente se presentó en el siguiente trabajo de grado (Lucas Villalón, 2016). En resumen, el presente proyecto presenta la aplicación de técnicas de estereovisión utilizando dos cámaras de visión gran angular, que por su construcción presentan distorsión en su imagen, por lo que se requiere corregir estos errores de distorsión. Las cámaras se situarán a una distancia adecuada para que el campo de visión tenga una mayor área común entre ambas capturas. Además se aplicarán técnicas de estereovisión para posicionar al objeto con respecto al sistema de referencia base del robot (x,y,z). Esta información se transmitirá a la unidad de control del robot por medio del uso de un socket, haciendo el uso de la comunicación de tipo cliente-servidor, en donde jupyter lab actuará como cliente y robotstudio actuará como servidor.

Problema: En cámaras estándar el campo de visión es muy reducido. Esto se agrava en un par estéreo porque solo es útil la escena común entre las dos cámaras.

Solución: Uso de cámaras de gran angular para tener un campo común más amplio de la escena. Pero se tiene problemas de distorsión radial que abra que corregir.

Objetivos: El objetivo general de este trabajo fin de Máster es localizar un determinado objeto respecto a un sistema de referencia 3D utilizando técnicas de estereovisión, con el uso de cámaras gran angular y manipular el objeto resolviendo una tarea de pick and place por medio del brazo robótico. Para ello se cumplirán los siguientes pasos: 1. Calibrar los coeficientes de distorsión de las 2 cámaras de visión gran angular y las 2 matrices de proyección para unos parámetros extrínsecos fijos. 2. Posteriormente, se analizará la configuración de cámaras para reducir los errores de localización, y encontrar los objetos resolviendo manualmente el problema de correspondencia. 3. Localizar una marca que determina el punto de cogida del objeto de maner

[EN] State of art:

3D objects location One of the problems that arises in the location of 3D objects base don diggerent camera models is the estimation of 3D information in world coordinates from their projections in the images, as mentioned by the different authors with their respective methods for locating objects: estimation learning algorithm (Tran et al., 2023), point clouds via sensors (Fradejas Rodrigáñez & Universitat Autònoma de Barcelona. Escola d Enginyeria, 2018).

Stereovision techniques The methods of stereovision have the same principle. You two camares separated at a distance, which simulate the behavior of the human eye, therefore, the Will have a horizontal or vertical binocular disparity effect dependinf on their orientation, This disparity allows Depth perception to be established (Cárdenas Quiroga et al., 2015) Different techniques are available to improve the accuracy and robustness of depth estimation by taking into account several important aspects such as lighting and noise of the variables (GRADOLEWSKI et al., 2023), In this paper we will use the OpenCV library (Biyyapu et al., 2024) for the application of different functions and methods where stereovision is applied.

Wide-angle cameras They are devices made up of lenses that have a small focal length. Focal length is the distance between the optical center of the lens and the camera sensor. A small focal length allows for a wide angle of view, but creates distortion in the image. This distortion generates a concavity visual effect, which is defined as "negative or barrel distortion", or a convex effect known as "cushion distortion" (Mera Gutiérrez, 2015).

Robotic arm The use of two fixed cameras is proposed to obtain the 3D point of an object with respect to the robot's base reference system, which by means of a socket will be sent to the manipulator program of the arm to pick up the object. A different approach was presented in the following degree project (Lucas Villalón, 2016). In summary, this project presents the application of stereovision techniques using two wide-angle vision cameras, which due to their construction present distortion in their image, so it is necessary to correct these distortion errors. The cameras will be placed at an appropriate distance so that the field of view has a greater common area between both captures. In addition, stereovision techniques will be applied to position the object with respect to the robot's base reference system (x,y,z). This information will be transmitted to the robot's control unit through the use of a socket, making use of client-server communication, where jupyter lab will act as a client and robotstudio will act as a server.

Problem: In standard cameras the field of view is very small. This is compounded in a stereo pair because only the common scene between the two cameras is useful.

Solution: Use wide-angle cameras to have a wider commonality of the scene. But there are problems of radio distortion that open up to correct.

Objectives: The general objective of this Master's thesis is to locate a certain object with respect to a 3D reference system using stereovision techniques, with the use of wide-angle cameras and to manipulate the object by solving a "pick and place" task by means of the robotic arm. To this end, the following steps will be carried out: 1. Calibrate the distortion coefficients of the 2 wide-angle cameras and the 2 projection arrays for fixed extrinsic parameters. 2. Subsequently, the camera configuration will be analyzed to reduce localization errors, and find the objects by manually solving the correspondence problem. 3. Locate a mark that determines the point of capture of the object automatically. 4. Establish communication between software platforms for sending data and perform the task of "pick and place" of the object based on the execution of the robot program.

Methodology: Hardware and Software Tools to use: Hardware: Computer, wide-angle cameras, switc