Designing natural gesture interaction for archaeological data in immersive environments

Abstract

[EN] Archaeological data are heterogeneous, making it difficult to correlate and combine different types. Datasheets and pictures, stratigraphic data and 3D models, time and space mixed together: these are only a few of the categories a researcher has to deal with. New technologies may be able to help in this process and trying to solve research related problems needs innovative solutions. In this paper, we describe the whole process for the design and development of a prototype application that uses an Immersive Virtual Reality system to acces archaeological excavation3Ddata through the Gesture Variation Follower (GVF) algorithm. This makes it possible to recognise which gesture is being performed and how it is performed. Archaeologist shave participated actively in the design of the interface and the set of gestures used for triggering the different tasks. Interactive machine learning techniques have been used for the real time detection of the gestures. As a case study the agora of Segesta (Sicily, Italy) has been selected. Indeed, due to the complex architectural features and the still ongoing fieldwork activities, Segesta represents an ideal context where to test and develop a research approach integrating both traditional and more innovative tools and methods.

[ES] Los datos arqueológicosson heterogéneosy difíciles decorrelacionarentrediferentestipos. Las fichastécnicasy lasimágenes, los datos estratigráficosy los modelos 3D, el tiempo y el espacio mezclados entre sí: son solamente algunas de las categorías que el investigadortieneque tratar.Las nuevas tecnologíaspueden ser capaces deayudar en este proceso, llenando el vacío entre la historiay el futuro, ytratar de resolverlas necesidades de investigaciónconsolucionesinnovadoras. En estetrabajo se describetodo el procesoque conlleva el diseñoy desarrollo de unprototipo de aplicación, que utilizaun sistema derealidad virtual inmersivapara acceder a datos3D de la excavaciónarqueólogica a través del algoritmo Gesture Variation Follower (GVF), que permite reconocer lo que el gesto está realizando y cómo se realiza. Los arqueólogoshan participadoactivamente enel diseño dela interfaz yel conjunto degestosutilizados parala activación de lasdiferentestareas. Se han utilizado avanzadastécnicas de aprendizaje automáticopara la detecciónen tiempo realde losgestos.Como casode estudio se eligió el ágora de Segesta (Sicilia, Italia). De hecho, debido a las características arquitectónicas complejas y las actividades de trabajo de campo todavía en curso, Segesta representa un contexto ideal donde poner a prueba y desarrollar un enfoque de investigación integrando ambas herramientas tradicionales y los más innovadores métodos.