Desarrollo de una aplicación de realidad aumentada para teléfono móvil para la localización de la arteria femoral mediante secuencias de ecografía

Abstract

[ES] La punción de la arteria femoral es una técnica que se lleva practicando desde hace años para la intervención por cateterismos de vasos sanguíneos o del corazón. Tradicionalmente su localización se realiza a través de referencias anatómicas como la cabeza del fémur y tras la introducción de la ecografía, esta localización se efectúa con el ecógrafo. Es esencial que esta sea realizada de forma correcta puesto que de lo contrario el paciente puede sufrir diversas complicaciones que pueden derivar en otra operación. La realidad aumentada es una tecnología en auge que combina la realidad con elementos virtuales por lo que combinando la imagen médica con la anatomía de la persona se obtiene una mejor visualización de la arteria en todo momento y en consecuencia el cirujano tiene más probabilidades de acertar la posición, puesto que puede seguir viendo la imagen aun cuando deje la sonda y coja la aguja. Con Unity, Vuforia, OBS, ffmpeg, una raspberry pi y un router entre otros materiales, se construye una aplicación de realidad aumentada para que funcione en teléfonos móviles con sistema operativo tipo Android. Esta app debe ser capaz de reproducir en tiempo real la señal de vídeo proporcionada por el ecógrafo además de dejar de seguir al target cuando se aprieta un botón. Se prueban distintos métodos, desde un multitarget hasta de un a varios targets, igualmente se prueban dos formas diferentes de reproducir la ecografía, una de ellas con OBS y la otra con una raspberry pi. La primera es una codificación por software y la segunda es por hardware por lo que es más rápida y por tanto introducirá menor latencia. Los resultados obtenidos no se acercan a los esperados puesto que el retraso es considerable y surgieron otros problemas inesperados. Sin embargo, fueron bastante buenos y se consiguieron algunos de los objetivos propuestos como seguir al objetivo una vez es reconocido y poder visualizarlo. Por tanto, puede decirse que el presente Trabajo Fin de Grado es una buena primera aproximación para lograr la solución óptima.

[CAT] La punció de l’artèria femoral és un tècnica que es porta practicant des de fa anys per a la intervenció per cateterismes de vasos sanguinis o del cor. Tradicionalment la seua localització es realitza a través de referències anatòmiques com el cap del fèmur i després de de la introducció de l’ecografia, aquesta localització s’efectua amb l’ecògraf. És essencial que aquesta siga efectuada de una forma correcta perquè en cas contrari el pacient pot patir diverses complicacions que poden derivar en una altra operació. La realitat augmentada és una tecnologia en auge que combina la realitat amb elements virtual pel que combinant la imatge mèdica amb l’anatomia de la persona s’obté una millor visualització de l’artèria en tot moment i en conseqüència el cirurgià té més probabilitats d’encertar la posició, ja que pot continuar veient la imatge encara que deixe la sonda i agafe l’agulla. Amb Unity, Vuforia, OBS, ffmpeg, una raspberry pi i un router entre altres materials, es construeix una aplicació de realitat augmentada perquè funcione en telèfons mòbils amb sistema operatiu tipus Android. Aquesta app ha de ser capaç de reproduir en temps real el senyal de vídeo proporcionada per l’ecògraf a més de deixar de seguir al target quan s’aprete un botó. Es proven diferents mètodes, des d’un multitarget fins d’un a diversos targets, igualment es proven dues maneres distintes de reproduir l’ecografia, una d’elles amb OBS i l’altra amb una raspberry pi. La primera és una codificació per software y la segona és per hardware que és més ràpida i per tant introduirà una menor latència. Els resultats obtinguts no s’acosten als esperats perquè el retard és considerable i van sorgir altres problemes inesperats. No obstant això, van ser bastants bons i es van aconseguir alguns dels objectius proposats con seguir a l’objectiu una vegada es reconegut i poder visualitzar-lo. Per tant, pot dir-se que el present Treball Fi de Grau és una bona primera aproximació per a aconseguir la solució òptima.

[EN] Femoral artery puncture is a technique that has been practiced for years for catheterization of blood vessels or the heart. Traditionally its localization is done through anatomical references such as the femoral head and after the introduction of the ultrasound, this localization is performed with the ultrasound machine. It is essential that this is done correctly, otherwise the patient may suffer various complications that might lead to another operation. Augmented reality is a growing technology that combines reality with virtual elements so that by combining the medical image with the person’s anatomy, a better visualization of the artery is always obtained and consequently the surgeon is more likely to get the position right, since he or she can continue to see the image even when he or she leaves the probe and picks up the needle. With Unity, Vuforia, OBS, ffmpeg, a raspberry pi and a router among other materials, an augmented reality application is built to run on cell phones with Android type operating system. This app must be able to reproduce in real time the video signal provided by the ultrasound scanner as well as stop following the target when a button is pressed. Different methods are tested, from a multitarget to a single or multiple targets, also two different ways of reproducing the ultrasound are tested, one of them with OBS and the other with a raspberry pi. The first one is a software encoding and the second one is hardware encoding so it is faster and therefore will introduce less latency. The results obtained are not close to the expected ones since the delay is considerable and other unexpected problems arose. However, they were quite good and some of the proposed objectives were achieved, such as tracking the target once it is recognized and being able to visualize it. Therefore, it can be said that the present Final Degree Project is a good first approximation to achieve the optimal solution.