Multimodal annotation of vision demand scales to estimate object detection capabilities

Abstract

[ES] El objetivo de este proyecto es identificar las demandas de visión requeridas por diversos problemas de detección de objetos, adaptando una escala de exigencias de visión creada originalmente por un grupo de expertos de la OCDE. La escala se organiza en cinco niveles de dificultad creciente e incluye una descripción de aquellas características visuales que pueden influir en el rendimiento de los sistemas de visión en benchmarks de detección de objetos, como el desenfoque, la oclusión, las condiciones de iluminación, la orientación del objeto, la superposición o la presencia de múltiples objetos.

Las escalas se convierten en rúbricas que pueden ser utilizadas por grandes modelos de lenguaje con capacidades de visión, como GPT4-Vision, para anotar las demandas de visión de grandes muestras de imágenes en múltiples conjuntos de datos de detección de objetos (por ejemplo, COCO o VOC). También utilizamos few-shot learning para garantizar que las respuestas del anotador se ajustan a los niveles de dificultad previstos.

Una vez anotados los puntos de referencia, procesamos todas las imágenes encuadradas para dos tareas diferentes, detección y localización de objetos, utilizando diversos algoritmos de visión por computador, con especial atención a la familia de modelos YOLO. Vemos cómo el rendimiento disminuye en general para niveles crecientes, lo que nos permite representar curvas características de agentes para distintos métodos y familias. El resultado de este trabajo es una metodología para estimar el nivel de capacidad visual de los algoritmos actuales de detección de objetos ---en lugar de su rendimiento---, así como proporcionar una cierta visión de su evolución en el tiempo.

[EN] This project aims to identify the vision demands required by various Object Detection problems, adapting a vision demands scale originally created by a group of experts from the OECD. The scale is organised into five levels of increasing difficulty and includes a description of those visual features that may influence machine vision performance in object detection benchmarks such as blur, occlusion, lighting conditions, object orientation, overlapping or the presence of multiple objects.

The scales are converted into rubrics that can be used by Large Language Models with vision capabilities, such as GPT4-Vision, to annotate the vision demands of large samples of images in multiple object detection datasets (e.g., COCO or VOC). We also use few-shot learning to ensure the annotator s responses align with the expected difficulty levels.

Once the benchmarks are annotated, we process all the images framed for two different tasks, object detection and localisation, using a variety of computer vision algorithms, with a particular focus on the YOLO family. We see how performance generally decreases for increasing levels, allowing us to represent agent characteristic curves for different methods and families. The outcome of this work is a methodology to estimate the level of visual capability of current object detection algorithms ---rather than performance---, as well as providing some insight into their evolution over time.