Telepresencia en las artes visuales y multimedia: cómo potenciar las interacciones a distancia.

Abstract

[ES] La comunicació natural o física és inherentment tridimensional, i abasta no sols els intercanvis verbals, sinó també els senyals no verbals, com les expressions facials, el contacte visual i els gestos. No obstant això, l arribada dels cascos de realitat virtual (HMD) ha plantejat desafiaments per a les converses realistes cara a cara. Els HMD obstruïxen una part important dels rostres dels participants, la qual cosa dificulta la creació d imatges convincents de rostres sencers a causa dels angles de captura extrems i les distorsions de les lents. En investigacions recents, s ha posat l enfocament en la reconstrucció de rostres ocults davall dels *HMD. Si bé les solucions d última generació existents demostren resultats de reconstrucció 3D fotorrealistas, sovint requerixen equips de laboratori d alt cost i recursos computacionals substancials. D altra banda, este treball se centra en la implementació d una aplicació que permet la visualització en temps real d entorns 3D per a crear teleconferències immersives, on la virtualització dels elements es limita a la resolució dels sensors, sense la necessitat d incorporar models 3D o avatars; així, millorant les interaccions remotes a través de les arts visuals i els mitjans interconnectats realistes. Algunes de les tecnologies involucren *WebRTC, sensors de profunditat i motors en temps real.

[EN] Natural or physical communication is inherently three-dimensional, encompassing not only verbal exchanges but also non-verbal cues such as facial expressions, eye contact, and gestures. However, the advent of virtual reality headsets (HMDs) has posed challenges for realistic faceto- face conversations. HMDs obstruct a significant portion of participants faces, making it difficult to create convincing images of entire faces due to extreme capture angles and lens distortions. Recent research has focused on reconstructing faces hidden beneath HMDs. While existing state-of-the-art solutions demonstrate photorealistic 3D reconstruction results, they often require high-cost laboratory equipment and substantial computational resources. On the other hand, this work focuses on the implementation of an application that enables real-time visualization of 3D environments to create immersive teleconferences, where the virtualization of elements is limited to the resolution of the sensors, without the need to incorporate 3D models or avatars; thus, enhancing remote interactions through visual arts and realistic interconnected media. Some of the technologies involve WebRTC, depth sensors, and real-time engines.