Generación de conjuntos de datos para entrenamiento de métodos de reconstrucción de imágenes de tomografía por emisión de positrones

Abstract

[ES] El propósito de este trabajo es hallar un método eficaz para la generación de una base de datos sintética y realista que permita la reconstrucción de imágenes de tomografías por emisión de positrones (PET), como apoyo a la labor de los radiólogos en el estudio de las lesiones neoplásicas de mama. Para alcanzar este objetivo, el presente proyecto se ha centrado en el empleo de modelos basados en aprendizaje profundo. La principal dificultad que existe para entrenar estos modelos es la escasez de imágenes clínicas disponibles de diagnóstico oncológico. Para hacer frente a este obstáculo se ha confiado en el empleo de las redes neuronales generativas adversarias (GAN). Partiendo de un amplio estudio previo de investigación sobre la bibliografía relativa al tema y de los más recientes artículos publicados sobre dicha cuestión, se describen los principales modelos generativos GAN, su funcionamiento, componentes y proceso de entrenamiento así como los problemas de convergencia derivados del mismo. La experimentación se ha realizado con tres modelos diferentes de redes GAN y utilizando dos bases de muestras de características heterogéneas: primero una con imágenes de tomografías PET y, posteriormente, otra con muestras de mamografías. En la creación de las diferentes arquitecturas se han empleado las librerías Keras y Tensorflow y, para el entrenamiento de los modelos seleccionados, se ha utilizado una GPU Tesla T4 facilitada por Google Colab. Con todo ello se han ido obteniendo progresivamente imágenes sintéticas de una mayor resolución. Los pesos de aprendizaje obtenidos con muestras de mamografías en el modelo con el mejor rendimiento observado previamente, han permitido reentrenar los tres modelos GAN propuestos con las muestras PET iniciales. Esto ha facilitado finalmente, mediante la técnica de transfer learning, la obtención de las imágenes con mayor definición de la anatomía de la mama.

[EN] The aim of this work is to find an effective method for the generation of a synthetic and realistic database that allows the reconstruction of positron emission tomography images (PET), to support the radiologists¿ tasks in the study of neoplastic breast lesions. To achieve this goal, this project has focused on the use of deep learning-based models. The main difficulty in training these models is the scarcity of available clinical images of oncological diagnoses. To address this obstacle, we have relied on the use of generative adversarial neural networks (GANs). Based on an extensive previous research study of the literature and the most recent articles published on the subject, we describe the main GAN generative models, their performance, components and training process, as well as the convergence problems derived from it. The experimentation has been carried out with three different models of GANs and using two sample bases with heterogeneous characteristics: firstly, a database of PET scans and, subsequently, another base with mammography samples. Keras and Tensorflow libraries were used to create the different architectures, and a Tesla T4 GPU provided by Google Colab was used to train the selected models. This has resulted in progressively higher resolution synthetic images. The learning weights obtained with mammography samples in the previously observed best-performing model, have allowed the three proposed GAN models to be retrained with the initial PET samples. This has finally made it possible, using the transfer learning technique, to obtain images with greater definition of the breast anatomy.

[CA] La intenció d’aquest treball és la d’arribar a trobar un mètode eficaç per a la generació d’una base de dades sintètica i realista que permeti la reconstrucció d’imatges de tomografies per emissió de positrons (PET), com a suport a la tasca dels radiòlegs en l’estudi de les lesions neoplàsiques de mama. Per assolir aquest objectiu, el projecte s’ha centrat en l’ús de models basats en l’aprenentatge profund. L’escull principal que existeix per entrenar aquests tipus de models és l’escassetat d’imatges clíniques disponibles de diagnosi oncològica. Per fer front a aquest obstacle s’ha confiat en les xarxes neuronals generatives adversàries (GAN). Partint d’un ampli estudi previ d’investigació sobre la bibliografia al·lusiva al tema i dels articles més recents publicats sobre aquesta qüestió, es descriuen els diferents models generatius GAN, llurs components, funcionament i procés d’entrenament així com els problemes de convergència que se’n deriven d’aquest procés. L’experimentació s’ha realitzat amb tres models diferents de xarxes GAN i fent-ne ús de dues bases de mostres de característiques heterogènies: primer una amb imatges de tomografies PET i, posteriorment, una altra amb mostres de mamografies. En la creació de les diferents arquitectures s’han emprat les llibreries Keras i Tensorflow i, per a l’entrenament dels models seleccionats, s’ha fet ús d’una GPU Tesla T4 facilitada per Google Colab. Amb tot això s’han anat aconseguint progressivament imatges sintètiques d’una millor resolució. Els pesos d’aprenentatge obtinguts amb mostres de mamografies, en el model amb el millor rendiment assolit prèviament, han permès el reentrenament dels tres models GAN proposats amb les mostres PET inicials. Això ha facilitat finalment, mitjançant la tècnica de transfer learning, l’obtenció de les imatges amb més definició de l’anatomia de la mama.