Using natural user interfaces to support learning environments

Abstract

[EN] Education is a field of research in which Natural User Interfaces (NUI) have not been exploited. NUI can help in the learning process, specially when using with children. Nowadays, children are growing up playing with computer games, using mobile devices, and other technological devices. New learning methods that use these new technologies can help in the learning process. In this thesis, a new system that uses NUI for learning about a period of history has been developed. This system uses autostereoscopy that lets the children see themselves as a background in the game, and that renders the elements with 3D sensation without the need for special glasses. This system has been developed from scratch. The Microsoft Kinect is used for interaction. A study for comparing the autostereoscopic system with a similar frontal projected system was carried out. This study analyzed different aspects such as engagement, increase of knowledge, or preferences. A total of 162 children from 8 to 11 years old participated in the study. From the results, we observed that the different characteristics of the systems did not influence the children’s acquired knowledge, engagement, or satisfaction; we also observed that the systems are specially suitable for boys and older children (9-11 years old). There were statistically significant differences for depth perception and presence in which the autostereoscopic system was scored higher. However, of the two systems, the children considered the frontal projection to be easier to use. Another comparative study was performed to determine the mode in which the children learn more about the topic of the game. The two modes compared were the collaborative mode, where the children played with the game in couples; and the individual mode, where the children played with the game solo. A total of 46 children from 7 to 10 years old participated in this study. From the results, we observed that there were statistically significant differences between playing with the game in the two modes. The children who played with the game in couples in the collaborative mode got better knowledge scores than the children who played with the game individually. Finally, we would like to highlight that the scores for all the questions were very high. The results from the two studies suggest that games of this kind could be appropriate educational games and that autostereoscopy is a technology to exploit in their development.

[ES] La educación es un campo de investigación en el que las Interfaces de Usuario Naturales (NUI) no se han explotado demasiado. Las NUI pueden ser útiles en el proceso de aprendizaje, especialmente cuando se trata de niños. A día de hoy, los niños crecen jugando con juegos de ordenador, utilizando dispositivos móviles y otros dispositivos tecnológicos. Con nuevos métodos que utilicen alguna de estas nuevas tecnologías se podría mejorar el proceso de aprendizaje. En esta tesina se ha desarrollado un nuevo sistema que utiliza la tecnología NUI para aprender sobre un periodo de la historia. Este sistema utiliza la visión autoestereoscópica, la cual permite a los niños verse a ellos mismos en el fondo de pantalla del juego, y que tiene la capacidad de visualizar los elementos del juego con una sensación 3D sin la necesidad de utilizar gafas especiales. Este sistema ha sido desarrollado desde cero como la parte de programación para esta tesina. El dispositivo Microsoft Kinect ha sido utilizado para la interacción. También se ha llevado a cabo un estudio comparativo con un sistema similar basado en proyección frontal. Este estudio ha tenido en cuenta diferentes aspectos como la satisfacción, cuánto han aprendido mientras jugaban o sus preferencias. Un total de 162 niños de 8 a 11 años han participado en este estudio. Por los resultados, observamos que las diferentes características de los sistemas no han influido en el aprendizaje, en la usabilidad o en la satisfacción; también observamos que los sistemas son especialmente apropiados para chicos y niños mayores (de 9 a 11 años). Se han observado diferencias estadísticamente significativas en la percepción de la profundidad, donde el sistema autoesterescópico fue puntuado mejor. Sin embargo, de los dos sistemas, los niños consideraron que el sistema de proyección frontal era más fácil de manejar. También se ha realizado otro estudio para determinar el modo con el que los niños pueden aprender el tema del juego a un mayor nivel. Los dos modos comparados han sido el modo colaborativo, en el que los niños jugaban por parejas; y el modo individual, en el que los niños jugaban solos. Un total de 46 niños de 7 a 10 años han participado en este estudio. Por los resultados, observamos que existen diferencias estadísticamente significativas entre jugar al juego de un modo o de otro. Los niños que jugaron al juego en parejas en el modo colaborativo obtuvieron un mejor resultado que los niños que jugaron al juego en el modo individual. Finalmente, queremos también señalar que las puntuaciones para todas las preguntas han sido muy altas. Los resultados de estos dos estudios sugieren que los juegos de este tipo pueden ser apropiados para la educación y que la autoestereoscopía es una tecnología a explotar en el desarrollo de juegos educativos.