Designing natural gesture interaction for archaeological data in immersive environments

[EN] Archaeological data are heterogeneous, making it difficult to correlate and combine different types.  Datasheets  and pictures,  stratigraphic  data  and  3D  models,  time and  space  mixed  together: these are  only a few  of  the  categories  a researcher has to deal with. New technologies may be able to help in this process and trying to solve research related problems needs innovative solutions. In this paper, we describe the whole process for the design and development of a prototype application that uses an Immersive Virtual Reality system to acces archaeological excavation3Ddata through the Gesture Variation Follower (GVF) algorithm. This makes it possible to recognise which gesture is being performed and how it is performed. Archaeologist shave participated actively in the design of the interface and the set of gestures used for triggering the different tasks. Interactive machine learning techniques have been used for the real time detection of the gestures. As a case  study  the  agora  of  Segesta  (Sicily,  Italy)  has  been  selected.  Indeed,  due  to  the  complex architectural  features  and  the  still  ongoing  fieldwork  activities,  Segesta  represents  an  ideal  context  where  to  test  and develop a research approach integrating both traditional and more innovative tools and methods.

[ES] Los datos arqueológicosson heterogéneosy difíciles decorrelacionarentrediferentestipos. Las fichastécnicasy lasimágenes, los datos estratigráficosy los modelos 3D, el tiempo y el espacio mezclados entre sí: son solamente algunas de las categorías que el investigadortieneque tratar.Las nuevas tecnologíaspueden ser capaces deayudar en este proceso, llenando el vacío entre la historiay el futuro, ytratar de resolverlas necesidades de investigaciónconsolucionesinnovadoras. En estetrabajo se describetodo el procesoque conlleva el diseñoy desarrollo de unprototipo de aplicación, que utilizaun sistema derealidad virtual inmersivapara acceder a datos3D de la excavaciónarqueólogica a través del algoritmo Gesture Variation Follower (GVF), que permite reconocer lo que el gesto está realizando y cómo se realiza. Los arqueólogoshan participadoactivamente enel diseño dela interfaz yel conjunto degestosutilizados parala activación de lasdiferentestareas. Se han utilizado avanzadastécnicas de aprendizaje automáticopara la detecciónen tiempo realde losgestos.Como casode estudio se eligió el ágora de Segesta (Sicilia, Italia). De hecho, debido a las características arquitectónicas complejas y las actividades de trabajo de campo todavía en curso, Segesta representa un contexto ideal donde poner a prueba y desarrollar un enfoque de investigación integrando ambas herramientas tradicionales y los más innovadores métodos.