Measuring the difficulty of computer games using the rasch model

Abstract

[ES] El propósito de este proyecto fue utilizar el modelo de Rasch para desarrollar un método que estima la dificultad del videojuego. Un gran número de personas fueron grabadas jugando dos videojuegos diferentes para que sus filmaciones de juego pudieran ser analizadas para medir su desempeño en el juego al presentar un conjunto de parámetros cuantitativos que pudieran medir objetivamente el desempeño de los encuestados. Los datos recogidos se procesaron en el software RUMM 2030 que generó el ajuste del modelo Rasch a partir de los datos. El modelo se analiza a continuación para evaluar si es una buena estimación de la dificultad y si los resultados son fiables. Los resultados de 2 juegos se pueden comparar para concluir si un juego se ajusta mejor al modelo Rasch y qué parámetro provoca el mejor ajuste o una mayor fiabilidad en el modelo. Los resultados fueron más confiables en términos del índice de separación de personas para uno de los juegos, que también resultó ser el juego más unidimensional de los dos. Algunos de los parámetros para ambos juegos no fueron concluyentes, pero los resultados generales fueron apuntando en la dirección correcta. Se concluye que el modelo de Rasch puede ser utilizado para analizar la dificultad de los videojuegos, siempre y cuando el videojuego medido tenga una fuerte unidimensionalidad y los elementos y su categorización no perjudiquen en gran medida al modelo. El proyecto también puede interpretarse como un punto de partida de lo que podría ser un método para analizar la dificultad de las tareas informáticas / electrónicas del mundo real, lo que podría ser un recurso útil para muchos campos profesionales técnicos.

[EN] The purpose of this project was to use the Rasch model to develop a method that estimates videogame difficulty. A large number of people were recorded playing two different videogames so their gameplay footages could be analysed to measure their performance in the game by coming up with a set of quantitative parameters that could objectively measure respondents performance (items). The collected data was processed into software RUMM 2030 which generated the Rasch model fit from the data. The model is then analysed to evaluate if it is a good estimation of difficulty and if the results are reliable. The 2 game results can be compared to conclude if one game fits better to the Rasch model and what parameter causes the better fit or higher reliability on the model. The results were more reliable in terms of the person separation index for one of the games, which also proved to be the more unidimensional game of the two. Some of the parameters for both games were inconclusive but the general results were aiming in the right direction. It is concluded that the Rasch model can be used to analyse the difficulty of videogames as long as the measured videogame has a strong unidimensionality and the items and their categorisation don¿t misfit heavily the model. The project can also be interpreted as a starting point to what could be a method of analysing difficulty of computer/electronical tasks from the real world, which could be a useful resource to many technical professional fields.