CREAME: CReation of Educative Affordable Multi-surface Environments

Abstract

Los juegos serios colaborativos tienen un impacto positivo en el comportamiento y el aprendizaje, pero siguen desarrollándose para plataformas tecnológicas tradicionales como videoconsolas y ordenadores de sobremesa o portátiles, los cuales han sido identificados como sub-óptimos para niños en diversos estudios. En su lugar, el uso de dispositivos móviles como tabletas y teléfonos inteligentes presenta diversas ventajas: son económicamente asequibles, están ampliamente distribuidos, y pueden ser transportados, lo cual permite la actividad física y poder iniciar un juego sin necesitar que los usuarios se trasladen a una localización fija, especialmente dedicada para tal fin. Además, combinar varios de estos dispositivos y coordinar la interacción entre ellos en lo que se denomina Entorno Multi-Pantalla (EMP) proporciona beneficios adicionales para la colaboración tales como una mayor escalabilidad, conciencia del espacio de trabajo, paralelismo y fluidez de las interacciones. La interacción en estos entornos multi-tableta es por tanto un aspecto crítico. Los dispositivos móviles están diseñados para ser interactuados mediante el toque de los dedos principalmente, lo cual es muy sencillo y directo, pero está normalmente limitado a la pequeña dimensión de las pantallas, lo que puede conllevar la oclusión de la pantalla y la infrautilización del espacio periférico. Por esta razón, esta tesis se centra en la exploración de otro mecanismo de interacción que puede complementar al táctil: interacciones tangibles alrededor del dispositivo. Las interacciones tangibles están basadas en la manipulación de objetos físicos, lo que presenta un valor adicional en la educación de los niños puesto que resuena con los manipulativos educativos tradicionales y permite la exploración del mundo físico. Por otra parte, la explotación del espacio que envuelve a las pantallas tiene diversos beneficios adicionales para actividades educativas colaborativas: reducida oclusión de la pantalla (lo cual puede incrementar la conciencia del espacio de trabajo), el uso de objetos tangibles como contenedores de información digital que puede ser transportada de forma continua entre dispositivos, y la identificación de un determinado estudiante a través de la codificación de su ID en un operador tangible (lo cual facilita el seguimiento de sus acciones y progreso durante el juego). Esta tesis describe dos enfoques distintos para construir juegos educativos colaborativos en EMPs utilizando interacciones tangibles alrededor de los dispositivos. Una, denominada MarkAirs, es una solución óptica aérea que no necesita ningún hardware adicional aparte de las tabletas excepto diversas tarjetas de cartón impresas. La otra, Tangibot, introduce un robot tangiblemente controlado y otro atrezo físico en el entorno, y se basa en tecnología RFID. Ambas interacciones son respectivamente evaluadas, y se observa que MarkAirs es usable y poco exigente tanto para adultos como para niños, y que se pueden realizar con éxito gestos de grano fino encima de las tabletas con ella. Además, al aplicarse en juegos colaborativos, puede ayudar a reducir la oclusión de las pantallas y la interferencia entre las distintas acciones de los usuarios, lo cual es un problema que puede surgir en este tipo de escenarios cuando solamente se dispone de interacciones táctiles. Se evalúa un juego educativo colaborativo con MarkAirs con niños de educación primaria, y se concluye que este mecanismo es capaz de crear experiencias de aprendizaje colaborativo y de presentar un valor añadido en términos de experiencia de usuario, aunque no en eficiencia. Con respecto a Tangibot, se muestra que controlar colaborativamente un robot móvil mediante unas palas tangibles con cierta precisión es factible para niños a partir de los tres años de edad, e incluso para personas mayores con un deterioro cognitivo leve. Además, proporciona una experiencia divertida

Collaborative serious games have a positive impact on behavior and learning, but the majority are still being developed for traditional technological platforms, e.g., video consoles and desktop/laptop computers, which have been deemed suboptimal for children by several studies. Instead, the use of handheld devices such as tablets and smartphones presents several advantages: they are affordable, very widespread, and mobile---which enables physical activity and being able to engage in a game without requiring users to gather around a fixed, dedicated, location. Plus, combining several of these devices and coordinating interactions across them in what is called a Multi-Display Environment (MDE) brings on additional benefits to collaboration like higher scalability, awareness, parallelism, and fluidity of the interaction. How to interact with these multi-tablet environments is therefore a critical issue. Mobile devices are designed to be interacted mainly via touch, which is very straightforward but usually limited to the small area of the displays, which can lead to the occlusion of the screen and the underuse of the peripheral space. For this reason, this thesis focuses on the exploration of another interaction mechanism that can complement touch: tangible around-device interactions. Tangible interactions are based on the manipulation of physical objects, which have an added value in childhood education as they resonate with traditional learning manipulatives and enable the exploration of the physical world. On the other hand, the exploitation of the space surrounding the displays has several potential benefits for collaborative-learning activities: reduced on-screen occlusion (which may increase workspace awareness), the use of tangible objects as containers of digital information that can be seamlessly moved across devices, and the identification of a given student through the encoding of their ID in a tangible manipulator (which facilitates the tracking of their actions and progress throughout the game). This thesis describes two different approaches to build collaborative-learning games for MDEs using tangible around-device interactions. One, called MarkAirs, is a mid-air optical solution relying on no additional hardware besides the tablets except for several cardboard printed cards. The other, Tangibot, introduces a tangible-mediated robot and other physical props in the environment and is based on RFID technology. Both interactions are respectively evaluated, and it is observed that MarkAirs is usable and undemanding both for adults and for children, and that fine-grained gestures above the tablets can be successfully conducted with it. Also, when applied to collaborative games, it can help reduce screen occlusion and interference among the different users' actions, which is a problem that may arise in such settings when only touch interactions are available. A collaborative learning game with MarkAirs is evaluated with primary school children, revealing this mechanism as capable of creating collaborative learning experiences and presenting an added value in user experience, although not in performance. With respect to Tangibot, we show how collaboratively controlling a mobile robot with tangible paddles and achieving certain precision with it is feasible for children from 3 years of age, and even for elderly people with mild cognitive impairment. Furthermore, it provides a fun experience for children and maintains them in a constant state of flow.

Els jocs seriosos col·laboratius tenen un impacte positiu en el comportament i l'aprenentatge, però continuen sent desenvolupats per a plataformes tecnològiques tradicionals com videoconsoles i ordinadors de sobretaula o portàtils, els quals han sigut identificats com sub-òptims per a xiquets en diversos estudis. D'altra banda, l'ús de dispositius mòbils com ara tabletes i telèfons intel·ligents presenta diversos avantatges: són econòmicament assequibles, estan àmpliament distribuïts i poden ser transportats, la qual cosa permet l'activitat física i poder iniciar un joc sense necessitat de què els usuaris es traslladen a una localització fixa i especialment dedicada per a eixa finalitat. A més, combinar diversos d'estos dispositius i coordinar la interacció entre ells en el que es denomina Entorn Multi-Pantalla (EMP) proporciona beneficis addicionals per a la col·laboració tals com una major escalabilitat, consciència de l'espai de treball, paral·lelisme i fluïdesa de les interaccions. La interacció amb estos entorns multi-tableta és per tant crítica. Els dispositius mòbils estan dissenyats per a ser interactuats mitjançant tocs de dit principalment, mecanisme molt senzill i directe, però està normalment limitat a la reduïda dimensió de les pantalles, cosa que pot ocasionar l'oclusió de la pantalla i la infrautilització de l'espai perifèric. Per aquesta raó, la present tesi se centra en l'exploració d'un altre mecanisme d'interacció que pot complementar al tàctil: interaccions tangible al voltant dels dispositius. Les interaccions tangibles estan basades en la manipulació d'objectes físics, cosa que presenta un valor addicional en l'educació dels xiquets ja que ressona amb els manipulatius tradicionals i permet l'exploració del món físic. D'altra banda, l'explotació de l'espai que envolta a les pantalles té diversos beneficis addicionals per a activitats educatives col·laboratives: reduïda oclusió de la pantalla (la qual cosa pot incrementar la consciència de l'espai de treball), l'ús d'objectes tangibles com a contenidors d'informació digital que pot ser transportada de forma continua entre dispositius, i la identificació d'un estudiant determinat a través de la codificació de la seua identitat en un operador tangible (cosa que facilita el seguiment de les seues accions i progrés durant el joc). Aquesta tesi descriu dos enfocaments distints per a construir jocs educatius col·laboratius en EMPs utilitzant interaccions tangibles al voltant dels dispositius. Una, denominada MarkAirs, és una solució òptica aèria que no precisa de cap maquinari addicional a banda de les tabletes, exceptuant diverses targetes de cartró impreses. L'altra, Tangibot, introdueix un robot controlat tangiblement i attrezzo físic addicional en l'entorn, i es basa en tecnologia RFID. Ambdues interaccions són avaluades respectivament, i s'observa que MarkAirs és usable i poc exigent tant per a adults com per a xiquets, i que es poden realitzar gestos de granularitat fina dalt de les tabletes amb ella. A més a més, en aplicar-se a jocs col·laboratius, pot ajudar a reduir l'oclusió de les pantalles i la interferència entre les distintes accions dels usuaris, problema que pot aparèixer en este tipus d'escenaris quan solament es disposa d'interaccions tàctils. S'avalua un joc educatiu col·laboratiu amb MarkAirs amb xiquets d'educació primària, i es conclou que aquest mecanisme és capaç de crear experiències d'aprenentatge col·laboratiu i de presentar un valor afegit en termes d'experiència d'usuari, tot i que no en eficiència. Respecte a Tangibot, es mostra que controlar conjuntament un robot mòbil mitjançant unes pales tangibles amb certa precisió és factible per a xiquets a partir de tres anys i inclús per a persones majors amb un lleu deteriorament cognitiu. A més, proporciona una experiència divertida per als xiquets i els manté en un estat constant de flow.