Deep learning strategies for histological image retrieval

Abstract

[ES] Según World Health Organization (WHO), el cáncer es una de las principales causas de muerte a nivel mundial, con cerca de 10 millones de fallecimientos en 2020. Esto significa que aproximadamente una de cada seis muertes es causada por el cáncer. Para prevenir y disminuir esta enorme cantidad de muertes, es necesario un diagnóstico preciso del cáncer. Las técnicas basadas en Deep Learning (DL) han ofrecido algunas técnicas en el Diagnóstico Asistido por Computadora (CAD) para ayudar a los médicos con su diagnóstico. Estas técnicas no solo disminuyen la carga de trabajo de los patólogos, sino que también aumentan la precisión de sus diagnósticos con menos costos. Las colecciones de imágenes de alta resolución, como las láminas histopatológicas y las exploraciones médicas, han mejorado el rendimiento de estas técnicas. En esta tesis, nos enfocamos principalmente en imágenes histopatológicas escaneadas por escáneres de Whole Slide Images (WSI). Estas imágenes se introducen en métodos basados en DL, que emplean Redes Neuronales Convolucionales (CNN) para detectar las anomalías y los patrones en el tejido escaneado. Estas técnicas son capaces de analizar el tejido para disminuir los impactos de los errores humanos en el diagnóstico del cáncer. Content-Based Medical Image Retrieval (CBMIR) es uno de estos métodos que recientemente ha captado la atención de los investigadores en patología digital. En esta tesis, proponemos tres marcos CBMIR sobre imágenes histopatológicas con dos técnicas basadas en DL que se presentan en diferentes escenarios. En cuanto a los obstáculos potenciales que un CBMIR en patología digital podría enfrentar, incluida la limitación de recursos de GPU, la falta de suficientes conjuntos de datos, y las estrictas regulaciones de privacidad de datos para el intercambio de datos. En relación con estas complejidades, nos enfocamos en el aprendizaje federado en la segunda clase de nuestra investigación. En esta sección, combinamos los conceptos de Federated Learning (FL) con un marco CBMIR para imitar un CBMIR Federado Mundial (FedCBMIR) en imágenes histológicas de cáncer de mama. En esta investigación, seguimos tres escenarios para imitar los tres casos de uso de FedCBMIR en el flujo de trabajo médico. En la última contribución de esta tesis, el enfoque principal es una estrategia basada en aprendizaje contrastivo. Proponemos un marco CBMIR que puede superar las técnicas anteriores con el top K (K>1) y también tener un alto rendimiento en la recuperación de imágenes en el top primero. Además, otra contribución de esta tesis es resolver los desafíos que los patólogos tienen al clasificar los Tumores Spitzoides de Potencial Maligno Incierto (STUMP). Los STUMP presentan un dilema diagnóstico debido a su intrincada histología, creando desafíos para establecer parámetros claros entre nevos benignos y melanomas potencialmente malignos. Para ayudar a los patólogos a enfrentar esta complejidad, el marco puede proporcionar parches similares al top K para ellos con sus etiquetas correspondientes. En resumen, los marcos CBMIR y CBHIR propuestos en esta tesis contribuyen al diagnóstico del cáncer de próstata, mama y piel a partir de imágenes histopatológicas mediante el uso de FEs basados en DL en diferentes escenarios. Estos no solo mejoran la precisión y la eficiencia del diagnóstico del cáncer, sino que también prometen facilitar la detección temprana y las estrategias de tratamiento personalizado. Aprovechar estos marcos en el diagnóstico actual del cáncer podría conducir en última instancia a mejores resultados para los pacientes, menores costos de atención médica y una mayor calidad de vida para las personas afectadas por el cáncer de próstata, mama y piel. Estos avances tienen el potencial de impulsar un cambio social positivo y contribuir a la lucha global contra el cáncer.

[CA] Segons l'Organització Mundial de la Salut (OMS), el càncer és una de les principals causes de mort a nivell mundial, amb prop de 10 milions de defuncions en 2020. Això significa que aproximadament una de cada sis morts és causada pel càncer. Per prevenir i disminuir aquesta enorme quantitat de morts, és necessari un diagnòstic precís del càncer. Les tècniques basades en Deep Learning (DL) han ofert algunes tècniques en el Diagnòstic Assistit per Ordinador (CAD) per ajudar els metges amb el seu diagnòstic. Aquestes tècniques no només disminueixen la càrrega de treball dels patòlegs, sinó que també augmenten la precisió dels seus diagnòstics amb menys costos. Les col·leccions d'imatges d'alta resolució, com les làmines histopatològiques i les exploracions mèdiques, han millorat el rendiment d'aquestes tècniques. En aquesta tesi, ens enfoquem principalment en imatges histopatològiques escanejades per escàners de Whole Slide Images (WSI). Aquestes imatges s'introdueixen en mètodes basats en DL, que empren Xarxes Neuronals Convolucionals (CNN) per detectar les anomalies i els patrons en el teixit escanejat. Aquestes tècniques són capaces d'analitzar el teixit per disminuir els impactes dels errors humans en el diagnòstic del càncer. El Content-Based Medical Image Retrieval (CBMIR) és un d'aquests mètodes que recentment ha captat l'atenció dels investigadors en patologia digital. En aquesta tesi, proposem tres marcs CBMIR sobre imatges histopatològiques amb dues tècniques basades en DL que es presenten en diferents escenaris.

Pel que fa als obstacles potencials que un CBMIR en patologia digital podria afrontar, inclou la limitació de recursos de GPU, la manca de suficients conjunts de dades, i les estrictes regulacions de privadesa de dades per a l'intercanvi de dades.

En relació amb aquestes complexitats, ens enfoquem en l'aprenentatge federat en la segona classe de la nostra investigació. En aquesta secció, combinem els conceptes de Federated Learning (FL) amb un marc CBMIR per imitar un CBMIR Federat Mundial (FedCBMIR) en imatges histològiques de càncer de mama. En aquesta investigació, seguim tres escenaris per imitar els tres casos d'ús de FedCBMIR en el flux de treball mèdic.

En l'última contribució d'aquesta tesi, l'enfocament principal és una estratègia basada en aprenentatge contrastiu. Proposem un marc CBMIR que pot superar les tècniques anteriors amb el top K (K>1) i també tenir un alt rendiment en la recuperació d'imatges en el top primer. A més, una altra contribució d'aquesta tesi és resoldre els desafiaments que els patòlegs tenen a l'hora de classificar els Tumors Spitzoides de Potencial Maligne Incert (STUMP). Els STUMP presenten un dilema diagnòstic a causa de la seva intricada histologia, creant desafiaments per establir paràmetres clars entre nevus benignes i melanomes potencialment malignes. Per ajudar els patòlegs a enfrontar aquesta complexitat, el marc pot proporcionar parches similars al top K per a ells amb les seves etiquetes corresponents.

En resum, els marcs CBMIR i CBHIR proposats en aquesta tesi contribueixen al diagnòstic del càncer de pròstata, mama i pell a partir d'imatges histopatològiques mitjançant l'ús de FEs basats en DL en diferents escenaris. Aquests no només milloren la precisió i l'eficiència del diagnòstic del càncer, sinó que també prometen facilitar la detecció primerenca i les estratègies de tractament personalitzat. Aprofitar aquests marcs en el diagnòstic actual del càncer podria conduir en última instància a millors resultats per als pacients, menors costos d'atenció mèdica i una major qualitat de vida per a les persones afectades pel càncer de pròstata, mama i pell. Aquests avenços tenen el potencial d'impulsar un canvi social positiu i contribuir a la lluita global contra el càncer.

[EN] According to the World Health Organization (WHO), cancer is one of the leading causes of death worldwide, with nearly 10 million deaths in 2020. This means that approximately one in six deaths is caused by cancer. To prevent and decrease this enormous number of deaths, an accurate cancer diagnosis is necessary. Deep Learning (DL)-based techniques have offered some methods in Computer-Aided Diagnosis (CAD) to assist doctors with their diagnoses. These techniques not only reduce the workload of pathologists but also increase the accuracy of their diagnoses at lower costs. Collections of high-resolution images, such as histopathological slides and medical scans, have improved the performance of these techniques. In this thesis, we focus mainly on histopathological images scanned by Whole Slide Image (WSI) scanners. These images are introduced into DL-based methods, which employ Convolutional Neural Networks (CNN) to detect anomalies and patterns in the scanned tissue. These techniques can analyze the tissue to reduce the impacts of human errors in cancer diagnosis. Content-Based Medical Image Retrieval (CBMIR) is one of these methods that has recently attracted the attention of researchers in digital pathology. In this thesis, we propose three CBMIR frameworks on histopathological images with two DL-based techniques presented in different scenarios.

Regarding potential obstacles that a CBMIR in digital pathology might face, including the limitation of GPU resources, the lack of sufficient datasets, and strict data privacy regulations for data sharing.

Considering these complexities, we focus on federated learning in the second part of our research. In this section, we combine the concepts of Federated Learning (FL) with a CBMIR framework to simulate a World-Wide Federated CBMIR (FedCBMIR) on histological images of breast cancer. In this research, we follow three scenarios to mimic the three use cases of FedCBMIR in the medical workflow.

In the final contribution of this thesis, the main focus is a contrastive learning-based strategy. We propose a CBMIR framework that can surpass previous techniques with the top K (K>1) and also have high performance in retrieving images at the top first. Additionally, another contribution of this thesis is to solve the challenges that pathologists face in grading Spitzoid Tumors of Uncertain Malignant Potential (STUMP). STUMPs present a diagnostic dilemma due to their intricate histology, creating challenges for establishing clear parameters between benign nevi and potentially malignant melanomas. To assist pathologists in coping with this complexity, the framework can provide top K similar patches for them with their corresponding labels.

In summary, the CBMIR and CBHIR frameworks proposed in this thesis contribute to the diagnosis of prostate, breast, and skin cancer from histopathological images using DL-based FEs in different scenarios. These not only improve the accuracy and efficiency of cancer diagnosis but also promise to facilitate early detection and personalized treatment strategies. Leveraging these frameworks in current cancer diagnosis could ultimately lead to better patient outcomes, lower healthcare costs, and a higher quality of life for individuals affected by prostate, breast, and skin cancer. These advances have the potential to drive positive social change and contribute to the global fight against cancer.