Implementación de una herramienta de evaluación de QoE automatizada y comparativa con evaluaciones subjetivas de usuarios reales.

Abstract

[ES] El consumo de streaming de vídeo no deja de aumentar año tras año y el concepto de QoE cobra cada vez más importancia para los proveedores de red y de servicio, los fabricantes de los contenidos y los usuarios. Crear modelos que sean capaces de estimar con el mínimo error posible la calidad de la experiencia de visionado del usuario es difícil por el aumento de la complejidad en la tecnología, pero también muy útil.

En el presente trabajo se evalúan modelos existentes en la actualidad para calcular la calidad de experiencia (QoE) en servicios de streaming adaptativo de vídeo sobre HTTP (HAS). Para ello, se han creado versiones distorsionadas de contenidos de vídeo de diferentes tipos simulando varios escenarios de condiciones de red, con cambios de calidad e interrupciones. A partir de dichos vídeos, se han evaluado dos modelos distintos para la estimación de la calidad de experiencia.

En primer lugar, se ha evaluado la recomendación de la Unión Internacional de Telecomunicaciones (ITU). El modelo P.1203, específicamente diseñado para HAS, permite la evaluación subjetiva de forma automática de la QoE, sin la participación de usuarios.

En segundo lugar, se ha diseñado una experiencia de visionado a través de una web para usuarios reales en la que se recogen sus valoraciones como método de modelado subjetivo de la calidad de experiencia.

Los resultados de cada modelo se consideran de forma independiente y también comparativa. Se proponen recomendaciones para la elaboración de futuros modelos apoyándose en el análisis de los resultados obtenidos.

[EN] The consumption of streaming video is increasing year after year and the concept of QoE is becoming more and more important for network and service providers, content manufacturers and users. Creating models that are able to estimate the quality of the user's viewing experience with as little error as possible is difficult due to the increasing complexity of the technology, but also very useful.

This paper evaluates existing models for estimating the quality of experience (QoE) in HTTP adaptive video over HTTP (HAS) streaming services. To this end, distorted versions of video content of different types have been created by simulating various scenarios of network conditions, quality changes and interruptions. From these videos, two different models for estimating the quality of experience have been evaluated.

First, the International Telecommunication Union (ITU) recommendation has been tested. The P.1203 model, specifically designed for HAS, allows the automatic subjective evaluation of QoE, without the participation of users.

Secondly, a web-based viewing experience has been designed for real users in which their ratings are collected as a method of subjective modelling of the quality of experience.

The results of each model are considered independently and comparatively. Recommendations for future modelling are proposed based on the analysis of the results obtained.