Sistema de inspección automatizada de naranjas mediante visión artificial y seguimiento en tiempo real

Abstract

[ES] Este Trabajo de Fin de Grado presenta el desarrollo de un sistema de visión artificial orientado a la detección, clasificación y contabilización de naranjas en tiempo real según su estado externo de calidad. El objetivo principal del proyecto es diseñar un prototipo funcional que permita automatizar la inspección visual de frutas en un entorno controlado, reduciendo la dependencia de la evaluación manual y mejorando la objetividad del proceso. Para ello, se ha construido un conjunto de datos propio a partir de imágenes capturadas en condiciones controladas, representativas de un escenario real de inspección sobre mesa. Dicho dataset ha sido procesado y etiquetado manualmente para entrenar un modelo de detección de objetos basado en la arquitectura YOLOv8, seleccionada por su equilibrio entre precisión y velocidad de inferencia en aplicaciones en tiempo real. El modelo entrenado se ha integrado en una aplicación desarrollada en Python utilizando OpenCV, capaz de analizar vídeo en directo procedente de una cámara RGB convencional. El sistema detecta las naranjas presentes en la escena y las clasifica en dos categorías: naranjas en buen estado y naranjas defectuosas. A diferencia de enfoques basados en conteo acumulado, el sistema implementa un modo de funcionamiento tipo inventario, en el que se contabiliza el número de naranjas presentes en cada instante, empleando criterios de estabilidad temporal para validar las detecciones y evitar fluctuaciones debidas a ruido o falsas detecciones. Durante la ejecución, el sistema muestra en tiempo real los resultados de la inspección, actualiza los contadores de cada categoría y almacena automáticamente recortes de las frutas detectadas. Asimismo, permite generar informes por sesión en formato CSV y representaciones gráficas que reflejan el estado final de la escena de inspección, facilitando el análisis posterior de los resultados. Las pruebas realizadas demuestran que el sistema es capaz de detectar y clasificar naranjas de forma estable y consistente en un entorno controlado, evidenciando la viabilidad de aplicar técnicas de visión artificial y aprendizaje profundo como herramienta de apoyo en procesos de inspección visual de frutas. El proyecto sienta además las bases para futuras ampliaciones orientadas a escenarios más dinámicos y a entornos industriales reales.

[EN] This Final Degree Project presents the development of a computer vision system designed for the real-time detection, classification, and counting of oranges according to their external quality condition. The main objective of the project is to design a functional prototype capable of automating the visual inspection of fruits in a controlled environment, reducing reliance on manual inspection and improving objectivity and consistency in the evaluation process. To achieve this goal, a custom dataset was created from images captured under controlled conditions, representative of a tabletop inspection scenario. The dataset was manually processed and annotated to train an object detection model based on the YOLOv8 architecture, selected for its balance between detection accuracy and inference speed in real-time applications. The trained model was integrated into an application developed in Python using OpenCV, enabling real-time video analysis from a conventional RGB camera. The system detects the oranges present in the scene and classifies them into two categories: good-quality oranges and defective oranges. Unlike traditional cumulative counting approaches, the system operates in an inventory-based mode, in which the number of oranges present at each moment is determined. Temporal stability criteria are applied to validate detections and prevent fluctuations caused by noise or false positives. During operation, the system displays the inspection results in real time, updates the counters for each category, and automatically stores cropped images of the detected fruits. Additionally, it allows the generation of session-based reports in CSV format and graphical representations that reflect the final state of the inspection scene, facilitating subsequent analysis of the results. Experimental tests demonstrate that the proposed system is capable of detecting and classifying oranges in a stable and consistent manner within a controlled environment, confirming the feasibility of applying computer vision and deep learning techniques as a support tool for fruit inspection processes. Furthermore, the project establishes a solid foundation for future extensions aimed at more dynamic scenarios and real industrial environments.

[CA] Aquest Treball de Fi de Grau presenta el desenvolupament d’un sistema de visió artificial orientat a la detecció, classificació i comptabilització de taronges en temps real segons el seu estat extern de qualitat. L’objectiu principal del projecte és dissenyar un prototip funcional que permeta automatitzar el procés d’inspecció visual de fruites en un entorn controlat, reduint la dependència de la inspecció manual i millorant l’objectivitat del procés. Per a això, s’ha construït un conjunt de dades propi a partir d’imatges capturades en condicions controlades, representatives d’un escenari d’inspecció sobre taula. Aquest dataset ha sigut processat i etiquetat manualment per a entrenar un model de detecció d’objectes basat en l’arquitectura YOLOv8, seleccionada pel seu equilibri entre precisió i velocitat d’inferència en aplicacions en temps real. El model entrenat s’ha integrat en una aplicació desenvolupada en Python utilitzant OpenCV, capaç d’analitzar vídeo en directe procedent d’una càmera RGB convencional. El sistema detecta les taronges presents en l’escena i les classifica en dues categories: taronges en bon estat i taronges defectuoses. A diferència d’enfocaments basats en el recompte acumulatiu, el sistema funciona en mode inventari, en el qual es determina el nombre de taronges presents en cada instant, aplicant criteris d’estabilitat temporal per a validar les deteccions i evitar fluctuacions degudes a soroll o falses deteccions. Durant l’execució, el sistema mostra en temps real els resultats de la inspecció, actualitza els comptadors de cada categoria i emmagatzema automàticament retalls de les fruites detectades. Així mateix, permet generar informes per sessió en format CSV i representacions gràfiques que reflecteixen l’estat final de l’escena d’inspecció, facilitant l’anàlisi posterior dels resultats. Les proves realitzades demostren que el sistema és capaç de detectar i classificar taronges de manera estable i consistent en un entorn controlat, posant de manifest la viabilitat d’aplicar tècniques de visió artificial i aprenentatge profund com a eina de suport en processos d’inspecció visual de fruites. El projecte estableix, a més, les bases per a futures ampliacions orientades a escenaris més dinàmics i a entorns industrials reals.