Desarrollo de una metodología para la validación del sistema Hololens v2 como herramienta de neuronavegación mediante realidad aumentada

Abstract

[ES] La neurocirugía, un campo que depende en gran medida de las imágenes médicas para la planificación preoperatoria y la navegación preoperatoria, proporciona un panorama excelente, aunque desafiante, para la exploración de la realidad aumentada en medicina. Es de suma importancia que la atención del médico se divida entre el espacio de trabajo del procedimiento del paciente y el espacio de trabajo de navegación de las pantallas en las que se muestran los datos. Esto requiere que uno transforme mentalmente y relacione los datos de imágenes bidimensionales (2D) visualizados en el espacio físico 3D, a menudo sin la capacidad de ver ambos al mismo tiempo. La realidad aumentada (AR), utilizando un dispositivo montado en la cabeza (HMD), aborda ambos problemas al representar directamente modelos 3D de anatomía, información de planificación u otros datos pertinentes en el campo de visión del médico (FOV), alineados con la anatomía del paciente. El sistema HoloLens de Microsoft, cuando se lanzó en 2016, fue uno de los primeros dispositivos en implementar AR a escala comercial y ha proporcionado al campo biomédico una plataforma unificada para el desarrollo de AR en medicina. Desde entonces, ha sido un foco de discusión e investigación en el contexto de la neuronavegación, ya que permite la potencial correspondencia del paciente con sus datos médicos lo cual supone un cambio de paradigma de suma utilidad. La alineación espacial de los datos obtenidos de las imágenes preoperatorias con la anatomía del paciente es un componente esencial de cualquier sistema de navegación. El proceso se compone típicamente de dos pasos. Durante un paso de registro inicial, es necesario establecer la correspondencia entre la anatomía del paciente y el modelo informático. A continuación, es necesario mantener esa correspondencia, posiblemente incluso después de que se haya movido la anatomía del paciente, lo que denominaremos seguimiento. Los objetivos generales de este trabajo son analizar la precisión de las Hololens v2 como herramienta de neuronavegación comparando el seguimiento de varios fiduciales anatómicos de un contenido holográfico y su correspondiente fantomas. El contenido holográfico será proporcionado por el servicio de neurocirugía del hospital La Fé de Valencia, y consistirá en modelos 3D de las imágenes cerebrales de un paciente obtenidas mediante segmentación manual mediante el software 3D slicer. El fantomas físico consistirá en una réplica 3D del contenido holográfico obtenido mediante una impresora 3D. Los contenidos holográficos se obtendrán utilizando el motor de desarrollo de realidad virtual Unity. El SDK de vuforia se utilizará para el seguimiento de los fiduciales en el contenido holográfico. Para localizar los fiduciales en el fantomas, el dispositivo de rastreo de luz infrarroja Polaris se utilizará como un gold estándar. Las coordenadas 3D de los fiduciales de referencia en el fantomas se compararán con las coordenadas de los fiduciales correspondientes en el contenido holográfico utilizando un puntero virtual. Para ello, se realizará un procedimiento experimental utilizando un mínimo de 10 sujetos que localizarán al menos tres veces cada fiducial. Esta metodología se evaluará utilizando diferentes técnicas estadísticas en Matlab.

[EN] Neurosurgery, a field heavily reliant on medical imaging for preoperative planning and perioperative navigation provides an excellent, though challenging, landscape for the exploration of augmented realty in medicine. Of paramount concern is that the attention of the physician is divided between the procedural workspace of the patient and the navigational workspace of the displays on which the data are shown. This requires one to mentally transform and relate the visualised two-dimensional (2D) imaging data into 3D physical space, often without the ability to see both at the same time. Augmented reality (AR), using a head mounted device (HMD), addresses both problems by directly rendering 3D models of anatomy, planning information, or other pertinent data into the physician s field of view (FOV), aligned with the patient anatomy. Microsoft s HoloLens, when released in 2016, was one of the first headset devices to implement AR on a commercial scale and has provided the biomedical field with a unified platform for the development of AR in medicine. Since then, it has been a focus of discussion and research in the context of neuronavigation, as it allows for the potential marriage of the patient with their medical imaging data; a long overdue paradigm shift in the art. The spatial alignment of data obtained from preoperative imaging to the patient anatomy is an essential component to any navigation system. The process is typically composed of two steps. During an initial registration step, the correspondence between the patient anatomy and computer model needs to be established. Next, that correspondence needs to be maintained, potentially even after the patient anatomy has moved, which we will refer to as tracking. The general objectives of this work is to analyze the accuracy of the Hololens v2 as a neuronavigation tool by comparing the tracking of several anatomical landmarks of a holographic content and its correspondent phantom. The holographic content will be provided by the neurosurgery service of the hospital La Fé of Valencia, and will consist on 3D models of the brain images of one patient obtained by manual segmentation using the software 3D slicer. The physical phantom will consist on a 3D replica of the holographic content obtained using a 3D printer. The holographic contents will be obtained using the VR development engine Unity. The vuforia SDK will be used for target tracking in the holographic contents. For tracking the targets on the phantom, the Polaris infrared light tracking device will be used as a gold standard. The 3D coordinates of the landmark targets on the phantom will be compared with the coordinates of the correspondent targets on the holographic contents using a virtual pointer. For that, we will perform an experimental procedure using a minimum of 10 subjects that will track three times each landmark. This methodology will be evaluated using different statistical techniques in Matlab.