Study of the Optimal and Stable Robotic Grasping Using Visual-Tactile Fusion and Machine Learning

Abstract

[ES] Con la llegada de la Industria 4.0, la robótica se ha convertido en una herramienta indispensable en diversas industrias, servicios y tareas de inspección, impulsando la eficiencia operativa y la productividad mediante la automatización. Este proyecto se centra en mejorar un aspecto de los manipuladores robóticos: el agarre óptimo y estable de objetos.

La importancia de esta investigación radica en la creciente utilización de brazos robóticos en múltiples sectores. La capacidad de manipular objetos con eficacia depende en gran medida de la identificación precisa de la ubicación óptima para agarrar un objeto. Para resolver este problema se han empleado diversos enfoques, como el análisis de datos de sensores y los métodos de aprendizaje automático, cada uno de ellos con sus propias dificultades que afectan a la fiabilidad y la precisión.

En investigaciones anteriores se han desarrollado métodos eficaces que utilizan la visión y el análisis de imágenes para determinar el mejor lugar para agarrar distintos objetos. Este enfoque ha resultado muy prometedor en el campo de la manipulación robótica de objetos. Al mismo tiempo, hay otros métodos que utilizan redes neuronales para dotar a los robots de una forma de inteligencia. Estas técnicas permiten a los robots aprender de la experiencia y mejorar con el tiempo, aumentando la eficacia de sus tareas.

En nuestro proyecto, pensamos concentrarnos en el enfoque basado en la visión. Nuestro objetivo es desarrollar un nuevo método para identificar el mejor lugar para agarrar objetos utilizando el análisis visual. Pretendemos mejorar las técnicas existentes e introducir nuevos elementos para aumentar la precisión y la eficacia de la manipulación robótica de objetos.

Para lograr este objetivo, la meta de investigación se ha dividido en varios objetivos de investigación específicos. Entre ellos se incluye la mejora de la fusión de datos de sensores, haciendo hincapié en amplificar tanto su velocidad como su calidad. Paralelamente, pretendemos identificar y abordar el cuello de botella del proceso que dificulta la determinación precisa de la posición de agarre de un objeto. Nuestro proyecto también abarca el desarrollo de un método innovador diseñado para calcular con mayor precisión la posición de agarre de los objetos. Paralelamente, nos proponemos definir indicadores clave de rendimiento que permitan evaluar la eficacia y la rapidez de la prensión y manipulación de objetos. El objetivo final consiste en aplicar, probar y evaluar las mejoras que hemos concebido, creando un bucle de retroalimentación y perfeccionamiento constantes dentro de nuestro proyecto.

Junto con los objetivos de investigación, también se han establecido ciertos objetivos de aprendizaje. Entre ellos se incluye el reconocimiento de los retos existentes en el campo de la fusión de sensores y el agarre robótico. También se pretende centrarse en el aprendizaje y la aplicación de diversas técnicas de fusión de datos a partir de múltiples entradas sensoriales. En nuestra búsqueda de un mayor rendimiento, pretendemos optimizar la tasa de éxito y la velocidad de agarre de objetos, con el uso de métodos y técnicas de nuevo desarrollo. En última instancia, pretendemos implantar nuestro sistema cuidadosamente diseñado en un brazo robótico físico, encarnando la aplicación práctica de nuestro trabajo teórico.

Al final de este proyecto, una aplicación más precisa, eficiente y práctica del agarre de objetos mediante una fusión de técnicas de visión y aprendizaje automático puede considerarse una opción viable para su potencial aplicación en diversas industrias.

[EN] In the advent of Industry 4.0, robotics has become an indispensable tool in various industries, services, and inspection tasks, boosting operational efficiency and productivity through automation. This project is focused on enhancing one aspect of robotic manipulators - the optimal and stable object grasping.

The importance of this research stems from the ever-growing utilization of robotic arms in multiple sectors. The ability to effectively manipulate objects largely hinges on the accurate identification of the optimal location for grasping an object. Various approaches have been employed to resolve this issue, including sensor data analysis and machine learning methods, with their own set of challenges affecting reliability and accuracy.

In past research, effective methods have been developed using vision and image analysis to pinpoint the best place for grasping different objects. This approach has shown great promise in the field of robotic object manipulation. At the same time, there are other methods that use neural networks to give robots a form of intelligence. These techniques allow robots to learn from experience and improve over time, enhancing the efficiency of their tasks.

In our project, we plan to concentrate on the vision-based approach. Our goal is to develop a new method for identifying the best place to grasp objects using visual analysis. We aim to improve existing techniques and introduce new elements to increase the accuracy and efficiency of robotic object manipulation.

To achieve this goal, the research goal has been divided into several specific research objectives. This includes the enhancement of sensor data fusion with an emphasis on amplifying both its speed and quality. In tandem, we aim to identify and address the bottleneck in the process that hampers the precise determination of an object's grasp position. Our project also encompasses the development of an innovative method designed to calculate the grasping position of objects more accurately. Alongside this, we intend to pinpoint key performance indicators that can be employed to evaluate the effectiveness and speed of object grasping and manipulation. The final objective involves the implementation, testing, and evaluation of the improvements we have conceived, creating a loop of constant feedback and refinement within our project.

Along with the research objectives, certain learning objectives have also been established. These include recognizing the existing challenges in the field of sensor fusion and robotic grasping. It is also intended to focus on learning and applying various techniques for data fusion from multiple sensory inputs. In our quest for enhanced performance, we aim to optimize the success rate and speed of object grasping, with the use of newly developed methods and techniques. Ultimately, we intend to implement our carefully designed system into a physical robotic arm, embodying the practical application of our theoretical work.

By the end of this project, a more accurate, efficient, and practical application of object grasping through a fusion of vision and machine learning techniques can be considered as a viable option for potential application in various industries.