Diseño, desarrollo y validación de un sistema de visión basado en redes neuronales para automatización de ensayos con C. elegans

Abstract

[ES] La investigación en el estudio de C. elegans ha sido de interés continúo debido a su papel fundamental en la biología, medicina, neurociencia, cosmética y demás campos de interés. Sin embargo, los ensayos con estos gusanos en placas de Petri son notoriamente laboriosos y requieren un seguimiento meticuloso de los individuos a lo largo del tiempo. Este proceso manual no solo es intensivo en mano de obra, sino que también puede ser propenso a errores y sesgos. Por lo tanto se propone la automatización de este proceso mediante un programa de detección y seguimiento de cada gusano que se ejecute de manera automática. Un desafío particular en este proceso es el seguimiento preciso de los gusanos individuales y la detección confiable de su ubicación, especialmente cuando se cruzan entre sí. La superposición de los gusanos puede dificultar la identificación precisa y el seguimiento de cada individuo, lo que puede afectar negativamente la calidad de los datos recopilados y los resultados de los experimentos. Para abordar este desafío se va a desarrollar una solución basada en el uso de redes neuronales, junto con diversas técnicas de visión artificial. Se van a emplear diversas herramientas como PyTorch, OpenCV. El proyecto se basará en Python pero también se hará uso de scripts en C++ para desarrollar un sistema capaz de detectar y rastrear los gusanos de manera eficiente y precisa. Las redes neuronales que se van a entrenar, validar y utilizar para llevar a cabo este proyecto son: una red YOLO para la detección de los gusanos en cada imagen y una Unet para poder diferenciar a cada gusano en el momento en el que se agregan. Ambas redes neuronales van a ser entrenadas mediante el uso de imágenes simuladas de C. elegans sobre fondos predeterminados de placas de Petri, estas imágenes se obtendrán de un simulador de imágenes. La validación del proyecto se llevará a cabo sobre imágenes reales que se tomarán gracias a un dispositivo llamado Multiview, el cual está desarrollando el laboratorio de Robótica en el ai2 de la UPV. Este dispositivo tomará imágenes en todo momento de una placa de Petri con C. elegans en su interior las cuales se usarán para probar el proyecto y medir diferentes indicadores de detección, así como pérdidas de identidad de los gusanos, además de comprobar los costes temporales de realizar la identificación en cada imagen.

[EN] Research on the study of C. elegans has been of continuous interest due to its fundamental role in biology, medicine, neuroscience, cosmetics, and other fields of interest. However, trials with these worms on Petri dishes are notoriously laborious and require meticulous monitoring of individuals over time. This manual process is not only labor-intensive but also prone to errors and biases. Therefore, the automation of this process is proposed through a program for detecting and tracking each worm automatically. A particular challenge in this process is the precise tracking of individual worms and reliable detection of their location, especially when they cross each other. The overlap of worms can hinder accurate identification and tracking of each individual, which can negatively affect the quality of the collected data and the results of experiments. To address this challenge, a solution based on the use of neural networks, along with various techniques of artificial vision, will be developed. Various tools such as PyTorch, OpenCV will be employed. The project will be based on Python but scripts in C++ will also be used to develop a system capable of detecting and tracking worms efficiently and accurately. The neural networks to be trained, validated, and used for this project are: a YOLO network for detecting worms in each image and a Unet to differentiate each worm at the moment they are added. Both neural networks will be trained using simulated images of C. elegans on predetermined backgrounds of Petri dishes, these images will be obtained from an image simulator. The validation of the project will be carried out on real images that will be taken thanks to a device called Multiview, which is being developed by the Robotics laboratory at the ai2 of the UPV. This device will take images at all times of a Petri dish with C. elegans inside which will be used to test the project and measure different detection indicators, as well as worm identity losses, in addition to checking the time costs of performing the identification in each image.