Active inference body for perception and action of a humanoid robot

Abstract

[ES] El objetivo de este trabajo es implementar un algoritmo para la percepción y la acción de un robot humanoide plausible con el cerebro humano basado en el principio de energía libre. Hoy en día, uno de los mayores desafíos de los sistemas robóticos es interactuar bajo incertidumbres. El principio de energía libre proporciona una solución para este problema, pero hasta ahora solo se ha probado con ejemplos simples o simulados. En este caso, se presenta una implementación basada en la optimización de energía libre aplicada a un robot real, mostrando las ventajas y limitaciones de dicho algoritmo.

Este algoritmo se aplicará al robot humanoide iCub, donde las variables internas se corresponderán con la posición de los pares y la acción será la velocidad de los mismos, realizándose un control de velocidad sobre el mismo. El algoritmo estará escrito en C++ y correrá bajo una máquina Linux en la misma red que el robot, realizándose la comunicación con el mismo mediante el entorno YARP.

El objetivo es definir un atractor perceptual en el campo visual del robot que producirá una acción en el robot hacia su dirección, provocando en última instancia que el robot alcance un objeto visualmente reconocible en una posición arbitraria en su campo visual. El algoritmo se probará tanto con visión monocular 2D usando la cámara del ojo izquierdo, así como usando visión estereoscópica binocular utilizando ambas cámaras para reconstruir posiciones en 3D.

La implementación de alcance se reducirá a un número limitado de grados de libertad, considerando 3 GDL para cada uno de los brazos y uno en el torso. El alcance se complementará con una implementación de cabeza activa, donde 2 GDL en el cuello y uno en los ojos se considerarán para dotar al robot con capacidad para seguir el atractor perceptual en su campo visual, de esta manera mejorando su rendimiento en el alcance.

Considerando las deviaciones entre el modelo teórico y real en un robot impulsado por tendones, este algoritmo combinará propiocepción y entrada visual usando fusión sensorial para corregir la posición del efector final del modelo cinemático directo. El algoritmo aquí presentado ha sido capaz de tener mejor rendimiento que la cinemática inversa en un experimento de alcance siguiendo los vértices de un prisma rectangular.

[EN] The goal of this work is to deploy a human brain plausible perception and control algorithm based on the free energy principle on a real humanoid robot. Nowadays, one of the biggest challenges of robotic systems is interacting under uncertainty. The free-energy principle provides a solution to this obstacle, but until now it has only been tested with simple or simulated examples. In this case, an implementation based on free energy optimization applied to a real robot is presented, showing the advantages and limitations of such an algorithm.

This algorithm will be applied to the iCub humanoid robot, where internal state will account for joint position and action will be joint velocity, causing the robot¿s joints to be velocity controlled. The algorithm will be written in C++ running on a Linux machine in the same network as the robot, and the communication between them will be done through the YARP framework.

The objective is to include a perceptual attractor in the visual field of the robot that will produce an action in the robot towards its direction, ultimately making the robot reach for a visually recognizable object at an arbitrary position in its visual field. This algorithm will be tested in both monocular 2D vision space using the left eye camera, as well as using stereo binocular vision from both cameras to reconstruct 3D positions.

The reaching implementation is reduced to a limited number of degrees of freedom, considering 3 DOF for each of the arms and one in the torso. Reaching will be complemented with an active head implementation, where 2 DOF on the neck and one in the eyes will be considered to endow the robot to follow the perceptual attractor in the visual field, therefore increasing its reaching performance.

Considering the deviations between the theoretical and real model in a robot driven by tendons, this algorithm will combine proprioception and visual input using sensory fusion to correct the end-effector position of the forward model. The algorithm here presented was able to outperform inverse kinematics in a reaching experiment following the vertices of a rectangular prism.