Diseño e implementación de una interfaz basada en RA para la interacción humano-robot usando Microsoft HoloLens 2

Abstract

[ES] A pesar del número cada vez mayor de aplicaciones de robots y la disminución de las barreras de entrada a la robótica en general, la programación de robots a menudo sigue siendo engorrosa y requiere mucho tiempo. La programación de robots colaborativos industriales es una tarea desafiante ya que requiere el conocimiento de un trabajador con habilidades en robótica. Esto se traduce en un aumento de los gastos para las empresas, ya que los robots se reprogramarán cuando se instalen en una línea de producción diferente. Por este motivo, normalmente solo se utilizan en la producción a gran escala. Los investigadores están evaluando varios enfoques para reducir el tiempo de capacitación y aumentar la facilidad de uso, de modo que trabajadores con habilidades comunes puedan realizar la tarea de programación fácilmente.

Debido a la naturaleza de la tarea, los medios emergentes de Realidad Virtual (VR) y Realidad Aumentada (AR) parecen ser las herramientas más adecuadas e intuitivas en estas labores. Se basan en la realidad aumentada espacial, la cognición y la entrada y salida multimodal. A medida que "hand tracking" se está volviendo más omnipresente en los sistemas de RV y RM ya disponibles, permite explorar nuevos paradigmas de interacción para la interacción hombre-máquina. En el campo de esta tesis, el "hand tracking" facilita a obtener una definición de posición más rápida e intuitiva para crear las trayectorias que deben enseñarse al robot manipulador. Los escenarios en los que los objetos a manipular no son estacionarios constituyen un desafío particular para las tareas de programación.

La tarea de esta tesis incluye la implementación de uno o más paradigmas de interacción y su comparación con los métodos de enseñanza clásicos. El proceso de enseñanza se realiza para un manipulador UR10 en un escenario de celda de trabajo robótica con una tarea de pick-and-place. Para ello, el presente trabajo hace uso de la celda de trabajo con el robot, una pantalla de realidad mixta montada en la cabeza - HoloLens 2 - y un sistema de simulación 3D, para lo cual un gemelo digital del UR10 y una interfaz inicial para el HoloLens HMD ya existe.

Sobre la base de la investigación del estado del arte en el campo, los enfoques existentes se combinarán o se diseñarán e implementarán nuevos para explorar: ¿Qué modalidades y métodos de entrada de AR son los más prometedores para la tarea dada? ¿Qué métricas son más útiles para evaluar el impacto positivo de estos métodos? ¿Cuál es el flujo de trabajo de enseñanza más eficiente utilizando los métodos? ¿Se beneficia de ellos un programador de robots experimentado? ¿La precisión proporcionada es suficiente para la tarea de enseñanza? ¿Puede una persona no iniciada aprender a programar un robot más rápido usando AR y los errores pueden evitarse más fácilmente? ¿De qué manera se puede mejorar la tecnología de AR de última generación para adaptarse aún mejor a tales tareas?

Para evaluar la función y efectividad del sistema, se debe seleccionar un escenario de evaluación concreto como paso final y se llevará a cabo un breve test de usuarios.

[EN] Robot programming often remains cumbersome and time-consuming. For this reason, researchers are evaluating various approaches to reduce training time and increase userfriendliness, so that ordinary-skilled workers are able to perform the programming task easily. Due to the nature of the task, the emerging media of Virtual Reality (VR) and Augmented Reality (AR) appear to be the best-suited and most intuitive tools in these endeavors. This thesis’ task includes the implementation of a new interaction paradigm and its comparison to classical teaching methods. The teaching process is carried out for a UR10 manipulator in a robotic work cell scenario with a pick-and-place task. For this, the present work makes use of the work cell with the robot, a Mixed Reality (MR) Head-Mounted Display (HMD) — HoloLens 2 — and a 3D simulation system, for which a Digital Twin (DT) of the UR10 already exists.