Vuzix FR: reconocimiento facial para residencias de ancianos

Abstract

[ES] El presente trabajo fin de grado consiste en el desarrollo de una aplicación que tiene como objetivo reconocer el rostro de una persona y sacar información relevante a ella. El usuario final es el personal de asistencia sanitaria en residencias geriátricas. La aplicación es desarrollada para ser utilizada con las gafas de realidad aumentada Vuzix Blade, fabricadas por el desarrollador líder de realidad inteligente y aumentada, Vuzix. Desarrollar aplicaciones para las gafas Vuzix Blade requiere utilizar tecnologías Android, en parte, con bibliotecas propias de Vuzix que facilitan el desarrollo en este tipo de dispositivo. Por otro lado, se utilizan los servicios de computación en la nube de Azure para reconocimiento facial. El funcionamiento principal, sin entrar en detalles, se basa en tomar una captura del rostro de una persona con la cámara del dispositivo, utilizar el servicio de reconocimiento facial de Azure para identificarla y obtener un identificador que será utilizado como criterio de búsqueda en una consulta a la base de datos de la residencia de ancianos para recuperar y visualizar la información relevante sobre dicha persona identificada. Para acceder a la base de datos y recuperar la información se llamará a un servicio desplegado en Azure. Un ejemplo de caso de uso sería cuando el asistente sanitario quiere consultar información sobre la habitación, la cama o dependencia de la persona residente.

[CA] El present treball final de grau consisteix en el desenvolupament d'una aplicació que té com a objectiu reconèixer el rostre d'una persona i treure informació rellevant a ella. L'usuari final és el personal d'assistència sanitària en residències geriàtriques. L'aplicació és desenvolupada per a ser utilitzada amb les ulleres de realitat augmentada Vuzix Blade, fabricades pel desenvolupador líder de realitat intel·ligent i augmentada, Vuzix. Desenvolupar aplicacions per a les ulleres Vuzix Blade requereix utilitzar tecnologies Android, en part, amb llibreries pròpies de Vuzix que faciliten el desenvolupament en aquest tipus de dispositiu. D'altra banda, s'utilitzen els serveis de computació en el núvol d'Azure per a reconeixement facial. El funcionament principal, sense entrar en detalls, es basa en prendre una captura de la cara d'una persona amb la càmera del dispositiu, utilitzar el servei de reconeixement facial d'Azure per identificar-la i obtenir un identificador que serà utilitzat com a criteri de cerca en una consulta a la base de dades de la residència d'avis per recuperar i visualitzar la informació rellevant sobre aquesta persona identificada. Per accedir a la base de dades i recuperar la informació es dirà a un servei desplegat en Azure. Un exemple de cas d'ús seria quan l'assistent sanitari vol consultar informació sobre l'habitació, el llit o dependència de la persona resident.

[EN] This final degree project consists in the development of an application that aims to recognize the face of a person and draw relevant information. The end user is the health care staff in nursing homes. The application is developed for use with Vuzix Blade augmented reality glasses, manufactured by the leading intelligent and augmented reality developer, Vuzix. Developing applications for Vuzix Blade glasses requires using Android technologies, in part, with Vuzix's own libraries that facilitate the development of this type of device. On the other hand, Azure cloud computing services are used for facial recognition. The main functionality, without going into details, is based on taking a screenshot of a person's face with the device's camera, using Azure's facial recognition service to identify it and obtaining an identifier that will be used as a search criteria in a query to the database of the nursing home to retrieve and view the relevant information about said identified person. To access the database and retrieve the information, a service deployed in Azure will be called. An example of a use case would be when the health worker wants to consult information about the room, bed or unit of the resident.