Sistema de detección de objetos de interés en entornos productivos con integración de información en servidor OPC-UA.

Abstract

[ES] Actualmente es habitual encontrar en los entornos de fabricación cámaras dispersas orientadas a la vigilancia del proceso o del espacio de trabajo. Dicho proceso de vigilancia se realiza en muchas ocasiones por parte de operarios de una forma manual, es decir son ellos los encargados de identificar situaciones u objetos relevantes en las imágenes. Por ejemplo un objeto obstaculizando una zona de paso de un robot, una caja volcada en una cinta, o producto roto antes de ser empaquetado. El presente proyecto (inspirado en dialogo con técnicos de una empresa cercana) tiene por principal objetivo aprovechar los flujos de vídeo que habitualmente son interpretados/procesados por operarios, con el objeto de identificar en el mismo de forma automática objetos de interés. Adicionalmente a este objetivo primario, se utilizará la comunicación OPC-UA entre los nodos de procesamiento del flujo de vídeo (en el cloud o en el Edge) y un servidor para registrar la aparición y de esta forma poder vincular la misma a históricos o incluso a condiciones de alarmas. En el caso del trabajo actual, la implementación de la detección se realiza en el Edge, utilizando una Nvidia Jetson Nano como cliente encargada de recoger las imágenes mediante una cámara USB y procesándolas mediante un modelo YOLOv7. Los datos obtenidos de la detección de objetos son manejados desde un servidor OPC UA y organizados en un frontend basado en Ignition.

[EN] Nowadays, it is common to find in manufacturing environments scattered cameras aimed at monitoring the process or the workspace. This surveillance process is often carried out manually by operators, i.e. they are the ones in charge of identifying relevant situations or objects in the images. For example, an object blocking a robot's path, an overturned box on a conveyor belt, or a broken product before being packed. The main objective of this project (inspired by dialogue with technicians from a nearby company) is to take advantage of video streams that are usually interpreted/processed by operators, in order to automatically identify objects of interest in them. In addition to this primary objective, OPC-UA communication between the video stream processing nodes (in the cloud or on the Edge) and a server will be used to record the occurrence and thus be able to link it to historical or even alarm conditions. In the case of the current work, the implementation of the detection is done in the Edge, using an Nvidia Jetson Nano as a client in charge of collecting the images through a USB camera and processing them through a YOLOv7 model. The data obtained from the object detection are managed from an OPC UA server and organised in a frontend based on Ignition.