Modelado de la atención visual de los consumidores en espacios de venta usando expositores inteligentes

Abstract

[ES] Extraer información sobre el comportamiento de los consumidores es una tarea fundamental dentro del sector minorista, pues analizar y entender cómo estos se desenvuelven en entornos de venta hace posible no solo la adaptación a sus gustos cambiantes o la mejora de su experiencia de compra, sino también la optimización del rendimiento de las ventas y el aumento de la rentabilidad. Mientras que en el comercio electrónico la monitorización del comportamiento del consumidor resulta más fácil gracias a herramientas digitales de análisis de datos, el gran reto está en trasladar e implementar métodos de medida en espacios físicos de venta que permitan obtener, de forma automática y continua, datos útiles para analizar la conducta de los clientes.

Los recientes avances en hardware y algoritmos de inteligencia artificial han dado lugar a tecnologías como la visión artificial, abriendo así las posibilidades en el campo del análisis del comportamiento del consumidor. La implementación de esta tecnología en espacios físicos de venta ha supuesto la creación de aplicaciones de reconocimiento facial que permiten abordar tareas como, por ejemplo, realizar un tracking de los clientes, extraer análisis demográficos, medir su capacidad de atención o incluso analizar sus emociones.

En este trabajo nos centramos en el papel que juega la atención visual sobre el comportamiento del consumidor, entendida como una señal de interés que participa activamente en la toma de decisiones y en el proceso de compra. Pese a contar con herramientas como el eye-tracking, capaz de obtener medidas precisas de la dirección de la mirada de los clientes, estos dispositivos presentan características que limitan su uso en tiendas.

Así, el propósito de este Trabajo de Fin de Grado es desarrollar modelos de clasificación del comportamiento humano en espacios de venta que caractericen la atención visual de un consumidor usando expositores inteligentes con tecnología de visión artificial. Para ello, se implementa una librería de código abierto de reconocimiento facial, sobre la que se extrae información de la pose de la cabeza de un sujeto en cada momento. Utilizando estos datos, se desarrollan modelos para clasificar cuándo una persona pasa cerca o lejos, y cuándo está mirando o no al expositor. Estos modelos son validados estadísticamente mediante una experimentación de laboratorio con 5 sujetos.

Los resultados de este trabajo demuestran la calibración de dos métricas: la distancia, definida por un parámetro de 13500 píxeles de área facial, que clasifica la situación del consumidor como cerca o lejos si el valor de área registrado es superior o inferior, respectivamente, con un accuracy del 100%; y la mirada, definida por un parámetro de ángulo de rotación axial de la cabeza de 22.5º, que clasifica si el consumidor mira o no mira si el valor de ángulo registrado (en valor absoluto) es menor o mayor, respectivamente, con un accuracy del 99.76%.

Las conclusiones de esta investigación reflejan la posibilidad de generar un sensor basado en cámaras y algoritmos de visión artificial para analizar automáticamente la distancia y la mirada de los consumidores y extraer información sobre el nivel de atención visual frente a un expositor en un espacio físico de venta.

[EN] Extracting information on consumer behavior is a fundamental task within the retail sector, as analyzing and understanding how they operate in sales environments makes it possible not only to adapt to their changing tastes or to improve their shopping experience, but also optimizing sales performance and increasing profitability. While in e-commerce the monitoring of consumer behavior is easier thanks to digital data analysis tools, the great challenge is to transfer and implement measurement methods in physical sales spaces that allow obtaining, automatically and continuously, useful data to analyze customer behavior.

Recent advances in hardware and artificial intelligence algorithms have given rise to technologies such as computer vision, thus opening up possibilities in the field of consumer behavior analysis. The implementation of this technology in physical sales spaces has led to the creation of facial recognition applications that allow tackling tasks such as tracking customers, extracting demographic analysis, measuring their attention span or even analyzing their emotions.

In this work we focus on the role that visual attention plays on consumer behavior, understood as a signal of interest that actively participates in decision-making and the purchasing process. Despite having tools such as eye-tracking, capable of obtaining precise measurements of the direction of the gaze of customers, these devices have characteristics that limit their use in stores.

Thus, the purpose of this final degree project is to develop classification models of human behavior in sales spaces that characterize the visual attention of a consumer using smart displays with computer vision technology. To do this, an open source facial recognition library is implemented, on which pose information is extracted from the head of a subject at all times. Using this data, models are developed to classify when a person passes near or far, and when they are looking or not at the exhibitor. These models are statistically validated through laboratory experimentation with 5 subjects.

The results of this work demonstrate the calibration of two metrics: the distance, defined by a parameter of 13500 pixels of facial area, which classifies the consumer's situation as near or far if the registered area value is higher or lower, respectively, with an accuracy of 100%; and the gaze, defined by a parameter of the axial rotation angle of the head of 22.5º, which classifies whether the consumer looks or does not look if the registered angle value (in absolute value) is less or greater, respectively, with an accuracy of 99.76%.

The conclusions of this research reflect the possibility of generating a sensor based on cameras and computer vision algorithms to automatically analyze the distance and gaze of consumers and extract information on the level of visual attention in front of an exhibitor in a physical sales space.