User eXperience evaluation on university virtual learning through sentiment analysis

Abstract

[ES] El uso de nuevas tecnologías y el número de usuarios de sistemas de enseñanza online universitaria se han extendido alrededor del mundo en las últimas décadas, mostrando un mayor incremento con la propagación de la pandemia Covid-19 desde 2020. Adicionalmente, la normativa ISO 9241-210:2019 establece los estándares internacionales de calidad para diseñar productos, servicios y sistemas de interacción persona-ordenador que cumplan con requisitos de usabilidad, accesibilidad y de experiencia de usuario (User eXperience - UX). Por tanto, el concepto de UX ha cobrado mucha importancia como requisito de calidad. Para diversos autores, la UX es un concepto multidimensional que incluye las motivaciones, sentimientos y necesidades de los usuarios finales. Por otra parte, el Objetivo de Desarrollo Sostenible (ODS) 4 de la Organización de las Naciones Unidas (ONU) para el 2030 persigue asegurar a nivel global una educación inclusiva, igualitaria, para todos y de calidad. En este sentido, con el fin de diseñar interfaces y experiencias de aprendizaje en entornos universitarios que respeten todas especificaciones de calidad se requiere evaluar previamente la UX de estos entornos de manera automática y precisa. Por tanto, el objetivo principal de esta tesis es identificar las características concretas más relevantes en la UX de entornos de e-learning universitarios que permitan analizar específica y automáticamente el sentimiento de los estudiantes con el fin de asentar las bases para diseñar plataformas de aprendizaje virtual centradas en los usuarios. Con esta finalidad, el estudio plantea analizar las necesidades y sentimientos de los estudiantes on-line universitarios con métodos digitales, avanzados y eficientes de inteligencia artificial. Por ello, el presente proyecto investiga la aplicación de modelos de aprendizaje automático de análisis de sentimiento para la evaluación UX. Estas técnicas de inteligencia artificial se han aplicado sobre las respuestas recibidas de entre los más de 2.000 estudiantes universitarios encuestados procedentes de estudios de posgrado online y de cursos en línea masivos y abiertos (MOOCs). Los resultados presentan las bases de un modelo que permite clasificar ontológicamente categorías o aspectos de la educación en línea universitaria y conocer la polaridad del sentimiento de los usuarios respecto a su experiencia e-learning de manera automática. De este modo, se han podido conocer las opiniones de los estudiantes de manera automatizada con respecto a categorías claves de la enseñanza digital. Además, los comentarios de los estudiantes se han clasificado en distintas dimensiones UX e-learning o UXEL (Conexiones Sociales, y Recursos y Herramientas de Aprendizaje). Así mismo, se ha identificado la polaridad del sentimiento para cada dimensión. En resumen, este trabajo ha generado importantes contribuciones a la comunidad científica. En primer lugar, una adaptación del cuestionario validado UEQ-S integrado y adaptado a tres plataformas de e-learning para cursos específicos de postgrado en la Universitat de València y en la Universidad Rey Juan Carlos; y para MOOCs en la Universitat Politècnica de València. En segundo lugar, esta tesis ha generado una aplicación innovadora de métodos de análisis de sentimiento y aprendizaje automático mediante el procesamiento del lenguaje natural para la evaluación de la experiencia de usuario de estudiantes universitarios online. Así, este método proporciona el análisis de las opiniones de los alumnos y las clasifica según su polaridad en positivas, negativas o neutras. Y en tercer lugar, este trabajo científico aporta una ontología propia de aspectos para la experiencia de aprendizaje virtual asociada a dimensiones UX con herramientas de análisis de sentimiento. Esta ontología clasifica la polaridad de las opiniones de los alumnos por categorías e-learning: VLE, Profesor, Alumno, Sonido, Imagen, Material, Ejercicio, Evaluación y y Comunicación.

[CA] L'ús de noves tecnologies i el nombre d'usuaris de sistemes d'ensenyament en línia universitària s'han estés al voltant del món en les últimes dècades, mostrant un major increment amb la propagació de la pandèmia COVID-19 des de 2020. Addicionalment, la normativa ISO 9241-210:2019 estableix els estàndards internacionals de qualitat per a dissenyar productes, serveis i sistemes d'interacció persona-ordenador que complisquen amb requisits d'usabilitat, accessibilitat i d'experiència d'usuari (User eXperience - UX). Per tant, el concepte de UX ha cobrat molta importància com a requisit de qualitat. Per a diversos autors, la UX és un concepte multidimensional que inclou les motivacions, sentiments i necessitats dels usuaris finals. D'altra banda, l'Objectiu de Desenvolupament Sostenible (ODS) 4 de l'Organització de les Nacions Unides (ONU) per al 2030 persegueix assegurar a nivell global una educació inclusiva, igualitària, per a tots i de qualitat. En aquest sentit, amb la finalitat de dissenyar interfícies i experiències d'aprenentatge en entorns universitaris que respecten totes especificacions de qualitat es requereix avaluar prèviament la UX d'aquests entorns de manera automàtica i precisa. Per tant, l'objectiu principal d'aquesta tesi és identificar les característiques concretes més rellevants en l'experiència d'usuari d'entorns d'e-learning universitaris que permeten analitzar específica i automàticament el sentiment dels estudiants amb la finalitat d'assentar les bases per a dissenyar plataformes d'aprenentatge virtual centrades en els usuaris. Amb aquesta finalitat, l'estudi planteja analitzar les necessitats i sentiments dels estudiants en línia universitaris amb mètodes digitals, avançats i eficients d'intel·ligència artificial. Per això, el present projecte investiga l'aplicació de models d'aprenentatge automàtic d'anàlisi de sentiment per a l'avaluació de la UX. Aquestes tècniques d'intel·ligència artificial s'han aplicat sobre les respostes rebudes d'entre els més de 2.000 estudiants universitaris enquestats procedents d'estudis de postgrau en línia i de cursos massius en línia en obert (MOOCs). Els resultats presenten les bases d'un model que permet classificar ontològicament categories o aspectes de l'educació en línia universitària i conéixer la polaritat del sentiment dels usuaris respecte a la seua experiència e-learning automàticament. D'aquesta manera, s'han pogut conéixer les opinions dels estudiants de manera automatitzada respecte a categories claus de l'ensenyament digital. A més, s'han classificat els comentaris dels estudiants en diferents dimensions UX e-learning o UXEL. D'aquesta manera, s'han identificat la polaritat del sentiment per a cada dimensió. En resum, aquest treball ha generat importants contribucions a la comunitat científica. En primer lloc, una adaptació del qüestionari validat UEQ-S integrat i adaptat a tres plataformes d'e-learning per a cursos específics de postgrau a la Universitat de València i en la Universidad Rey Juan Carlos; i per a MOOCs a la Universitat Politècnica de València. En segon lloc, aquesta tesi ha generat una aplicació innovadora de mètodes d'anàlisis de sentiment i aprenentatge automàtic mitjançant el processament del llenguatge natural per a l'avaluació de l'experiència d'usuari d'estudiants universitaris en línia. Així, aquest mètode proporciona l'anàlisi de les opinions dels alumnes i les classifica segons la seua polaritat en positives, negatives o neutres. I en tercer lloc, aquest treball científic aporta una ontologia pròpia d'aspectes per a l'experiència d'aprenentatge virtual associada a dimensions UX. Aquesta ontologia utilitzada amb eines d'anàlisis de sentiment, permet classificar la polaritat de les opinions dels alumnes per categories clau de l'e-learning (VLE, Professor, Alumne, So, Imatge, Material, Exercici, Avaluació i Comunicació) i agrupar els comentaris en tres dimensions UXEL (VLE, Connexions Socials, i Recursos i Eines d'Aprenentatge).

[EN] The use of new technologies and the number of users of university online learning systems have spread around the world in the last decades, showing a further increase with the spread of the Covid-19 pandemic since 2020. Additionally, ISO 9241-210:2019 sets international quality standards for designing human-computer interaction products, services, and systems that meet usability, accessibility, and User eXperience (UX) requirements. Therefore, the concept of UX has become very important as a quality requirement. For several authors, UX is a multidimensional concept that includes the motivations, feelings, and needs of end users. On the other hand, the United Nations' (UN) Sustainable Development Goal (SDG) 4 for 2030 aims to ensure inclusive, equitable, quality education for all globally. In this sense, in order to design interfaces and learning experiences in university environments that respect all quality specifications, it is necessary to evaluate the user experience of these environments automatically and accurately beforehand. Thus, the main objective of this thesis is to identify the most relevant specific characteristics in the user experience of university e-learning environments that allow specific and automatic analysis of the students' feelings in order to lay the foundations for the design of user-centered e-learning platforms. To this end, the study proposes to analyse the needs and feelings of online university students with digital, advanced, and efficient artificial intelligence methods. Therefore, this project investigates the application of machine learning models of sentiment analysis for the evaluation of user experience. These artificial intelligence techniques have been applied to the responses received from more than 2,000 university students surveyed from postgraduate online studies and massive open online courses (MOOCs). The results present the basis of a model that allows ontologically classifying categories or aspects of university online education and knowing the users' polarity of feeling about their e-learning experience in an automatic way. In this way, it has been possible to find out the students' opinions in an automated way with regard to key categories of digital teaching. In addition, student comments have been classified into several UX e-learning or UXEL dimensions. Also, it has been identified the polarity of sentiment for each dimension. To sum up, this work has generated four major contributions to the scientific community. Firstly, an adaptation of the validated questionnaire UEQ-S integrated and adapted to three e-learning platforms for specific postgraduate courses at the Universitat de València and at the Universidad Rey Juan Carlos; and for MOOCs at the Universitat Politècnica de València. Secondly, this thesis has generated an innovative application of sentiment analysis and machine learning methods through natural language processing for the evaluation of the user experience of university online students. Therefore, this method provides the analysis of learners opinions and classifies them according to their polarity in positive, negative or neutral. And thirdly, this scientific work brings out a proprietary ontology of aspects for the virtual learning experience associated with UX dimensions. This ontology used with sentiment analysis tools, allows classifying the polarity of student opinions (positive, neutral, negative) by key categories of e-learning (VLE, Teacher, Student, Sound, Image, Material, Exercise, Evaluation and Communication) and group the comments in three dimensions UX e-learning or UXEL (VLE, Social Connections, and Learning Resources and Tools). Finally, these contributions will help to evaluate in an automatic and accurate way several university e-learning environments in order to design user-centered virtual learning experiences more personalised and inclusive for all which suit quality standards and meet UN SDG 4 for 2030.