Evaluación de la usabilidad web mediante el análisis de la mirada y la respuesta fisiológica. Influencia de las características del usuario

Abstract

[EN] There have been considerable efforts to improve the accessibility of websites for users with disabilities, but it does not guarantee a simple, intuitive and satisfactory interaction. To achieve this, it is necessary to improve usability, which comprises concepts such as effectiveness, efficiency, satisfaction and learning. There are several usability recommendation guidelines provided by experts. However, in many cases, these recommendations have not been validated by users; and almost always limited to the use of subjective or basic quantitative metrics. This thesis proposes the use of innovative metrics and methodologies, as the analysis of the physiological response and eye tracking, to extract quantitative and detailed information in real time during user interaction with the web. Leaning on these methodologies, three hypotheses have been assessed: (1) expert recommendations should be validated by users, (2) the validity of the recommendations depends on the user profile, and (3) the new metrics proposed allow detecting the impact of the recommendations better than traditional variables. To do this, a work plan was defined: (1) Review of the state of the art to gather usability metrics and recommendations; (2) The most used common usability recommendations have been selected and assessed; (3) A experimental design and a protocol has been set up to control the presence / absence of usability recommendations and assessed its effect, involving 20 users; (4) Finally to evaluate the three hypotheses, a common model was defined for each variable with the following factors: seven usability recommendations, session, repetition, user profile and its interaction with the other factors. To define the usability model, an analysis of correlations between variables of different levels was performed Based on this research work, eight findings were drawn: 1- The presence /absence of most of usability recommendations did depend neither on the website type nor on level of web accessibility. Therefore, accomplishment of accessibility requirements does not ensure that the website was easy to use. 2 - The effect of some recommendations, such as "Go Top" or "Hoover and Click", was unclear or even had a negative effect. This result highlights the need to confirm the expert recommendations by user testing, validating the hypothesis 1. 3- While most recommendations, except for those mentioned above, improve usability for users with motor disorders; many of the recommendations have no effect or a negative effect on control users, which validates hypothesis 2 . Universal design is a good approach but it is necessary to personalize the design to the specific needs of each user. 4 - The new proposed methodologies detect the effect of all usability recommendations and its interaction with the user profile, reaching the highest significance level (p <0.001). Therefore, these variables are more sensitive than traditional ones, validating the hypothesis 3. 5 - The variables that allow to characterize learning and adaptation processes are task performance, spent time, the number of fixations and heart rate variability. 6 - The proposed usability model changes depending on the user profile based on the variables of the different levels. While the number of fixations and the spent time are the most correlated variables for control subjects; the skin conductivity, facial EMG and saccadic amplitude are the most correlated for users with motor disorders. 7 - Several problems and limitations to the proposed usability model have been identified, which are related to the interaction between aesthetics and usability. As a conclusion, it is necessary to validate usability recommendations leaning on user participation and taking into account their characteristics. Furthermore, the the physiological response and eye tracking analysis can complement and improve the information provided through questionnaires, task performance or spent time.

[ES] Se han realizado esfuerzos para mejorar la Accesibilidad de las páginas web para las personas con discapacidad, pero esto no asegura que la interacción sea sencilla, intuitiva y satisfactoria. Para ello es necesario mejorar la usabilidad web relacionada con conceptos como efectividad, eficiencia, satisfacción y aprendizaje. Existen diversas guías con recomendaciones proporcionadas por expertos. Sin embargo, en muchos casos, dichas recomendaciones no han sido validadas mediante usuarios, y casi siempre se basan en metodologías subjetivas o variables básicas. En esta Tesis se propone el uso de tecnologías innovadoras, como el análisis de la respuesta fisiológica y el seguimiento de la mirada, para extraer información de detalle en tiempo real durante la interacción con la web; permitiendo analizar las 3 hipótesis: (1) las recomendaciones de experto necesitan ser validadas por usuarios, (2) dichas recomendaciones dependen del perfil de usuario, y (3) las nuevas variables propuestas permiten detectar mejor el efecto de las recomendaciones que las tradicionales. Para ello, se ha planteado un plan de trabajo: (1) Revisión del estado del arte para recopilar recomendaciones de usabilidad y variables; (2) Selección y evaluación de las recomendaciones más comunes; (3) Puesta a punto de un diseño experimental y un protocolo para controlar la presencia de las recomendaciones y evaluar su efecto, mediante la participación de 20 usuarios; (4) Se ha definido un modelo común para cada variable con los siguientes factores: las 7 recomendaciones, la sesión, la repetición, el perfil de usuario y su interacción con el resto de factores; para evaluar las 3 hipótesis. Además, se ha realizado un análisis de correlaciones entre las variables de los distintos niveles para definir un modelo de usabilidad. A partir de este trabajo, se han extraído ocho resultados: 1 - Las recomendaciones elegidas no dependían del sitio web y su presencia no está correlacionada con el nivel de accesibilidad. Por tanto, el cumplimiento de los requisitos de accesibilidad no asegura que una web sea usable. 2 - El efecto de algunas recomendaciones , como "Ir arriba" o "Señalar y hacer clic", no estaba claro o incluso tenían un efecto negativo. Estos resultados refuerzan la necesidad de validar las recomendaciones de experto mediante la participación de usuarios, validando la hipótesis 1. 3 - Si bien la mayoría de recomendaciones mejoran la usabilidad para los usuarios con limitación motora; muchas de las recomendaciones no tienen ningún efecto o incluso un efecto negativo en los usuarios control; validando la hipótesis 2. El Diseño Universal es una buena aproximación pero es necesario personalizar el diseño a los usuarios. 4 - Las nuevas metodologías propuestas permiten detectar el efecto de todas la recomendaciones web y su interacción con el perfil de usuario con el nivel de significación más alto (p<0,001). Por lo tanto, son mucho más sensibles que las aproximaciones tradicionales, validando la hipótesis 3. 5 - La finalización de la tarea y el tiempo empleado, el número de fijaciones y la variabilidad del ritmo cardíaco permiten caracterizar los procesos de adaptación y aprendizaje. 6 - El modelo de usabilidad propuesto varía en función del perfil de usuario. El número de fijaciones y el tiempo empleado son las variables más correlacionadas para los sujetos control; mientras que las conductividad de la piel y EMG facial, y la longitud de los sacádicos son las más correlacionadas para los usuarios con limitación motora. 7 - Se han encontrado diversos problemas o limitaciones asociados a la interacción entre aspectos estéticos y de usabilidad. A modo de conclusión, es necesario validar las actuales recomendaciones de usabilidad mediante la participación de usuarios y tener en cuenta sus características. Además, el análisis de la respuesta fisiológica y la mirada permite complementar y mejorar la información

[CA] Encara que s'han realitzat esforços per millorar l'Accessibilitat de les pàgines web per a les persones amb discapacitat, això no assegura que la interacció sigui senzilla, intuïtiva i satisfactòria. Per a això és necessari millorar la usabilitat web, que comporta diversos conceptes com a efectivitat, eficiència, satisfacció i aprenentatge. Existeixen diverses guies amb recomanacions proporcionades per experts. No obstant això, en molts casos, aquestes recomanacions no han estat validades mitjançant usuaris, i gairebé sempre es limita a l'ús de metodologies subjectives o variables bàsiques. En aquesta Tesi es proposa l'ús de tecnologies innovadores, com l'anàlisi de la resposta fisiològica i el seguiment de la mirada, per extreure informació de detall en temps real durant la interacció amb la web; permetent analitzar les 3 hipòtesis: (1) les recomanacions d'expert necessiten ser validades per usuaris, (2) aquestes recomanacions depenen del perfil d'usuari, i (3) les noves variables propostes permeten detectar millor l'efecte de les recomanacions que les tradicionals. Per a això, s'ha plantejat un pla de treball: (1) Revisió de l'estat de l'art per recopilar recomanacions de usabilitat i variables; (2) Selecció i avaluació de les recomanacions més comunes; (3) Posada a punt d'un disseny experimental i un protocol per controlar la presència de les recomanacions i avaluar el seu efecte, mitjançant la participació de 20 usuaris; (4) S'ha definit un model comú per a cada variable amb els següents factors: les 7 recomanacions, la sessió, la repetició, el perfil d'usuari i la seva interacció amb la resta de factors; per avaluar les 3 hipòtesis de partida. A més, s'ha realitzat una anàlisi de correlacions entre les variables dels diferents nivells per definir un model de usabilitat. A partir d'aquest treball, s'han extret vuit resultats: 1 - Les recomanacions triades no depenien del lloc web i la seva presència no està correlacionada amb el nivell d'accessibilitat. Per tant, el compliment dels requisits d'accessibilitat no assegura que una web sigui usable. 2 - L'efecte d'algunes recomanacions , com "Anar dalt" o "Assenyalar i fer clic", no estava clar o fins i tot tenien un efecte negatiu. Aquests resultats reforcen la necessitat de validar les recomanacions d'expert mitjançant la participació d'usuaris, validant la hipòtesi 1. 3 - Si bé la majoria de recomanacions milloren la usabilitat per als usuaris amb limitació motora; moltes de les recomanacions no tenen cap efecte o fins i tot un efecte negatiu en els usuaris control; validant la hipòtesi 2. El Disseny Universal és una bona aproximació però és necessari personalitzar el disseny als usuaris. 4 - Les noves metodologies proposades permeten detectar l'efecte de totes la recomanacions web i la seva interacció amb el perfil d'usuari amb el nivell de significació més alt (p<0,001). Per tant, són molt més sensibles que les aproximacions tradicionals, validant la hipòtesi 3. 5 - La finalització de la tasca i el temps emprat, el nombre de fixacions i la variabilitat del ritme cardíac permeten caracteritzar els processos d'adaptació i aprenentatge. 6 - El model de usabilitat proposat varia en funció del perfil d'usuari. El nombre de fixacions i el temps emprat són les variables més correlacionades per als subjectes control; mentre que les conductivitat de la pell i la EMG facial, i la longitud dels sacàdics són les més correlacionades per als usuaris amb limitació motora. 7 - S'han trobat diversos problemes o limitacions associats a la interacció entre aspectes estètics i de usabilitat. A manera de conclusió, és necessari validar les actuals recomanacions de usabilitat mitjançant la participació d'usuaris i tenir en compte les seves característiques. A més, l'anàlisi de la resposta fisiològica i la mirada permet complementar i millorar la informació aportada mitjançant les variables tradicionals.