AI-based strategy for the interpretation of chest x-ray to aid in the triage, reduce workload and not misses critical findings of thoracic diseases: a retrospective evaluation of four potential deep learning software packages

Abstract

[ES] La radiografía de tórax es la prueba diagnóstica más utilizada en la práctica clínica. La radiografía de tórax (RX) suele ser el primer estudio de imagen que se adquiere y sigue siendo fundamental para el triaje, el diagnóstico y el tratamiento de un amplio número de enfermedades. Su gran demanda puede atribuirse a su rentabilidad y baja dosis de radiación, junto con la alta sensibilidad para la detección de multitudes patologías torácicas en situaciones de emergencia. Por otra parte, se están planteando estudios de cómo afecta la carga asistencial y la fatiga acumulada en el resultado del diagnóstico realizado por los radiólogos. Esta tarea, que consume mucho tiempo, puede dar lugar a errores y la falta de experiencia en el diagnóstico puede afectar, sobre todo en las zonas del mundo donde no hay suficientes radiólogos disponibles. Recientemente, los enfoques de aprendizaje profundo han sido capaces de lograr un rendimiento a nivel de experto en tareas de interpretación de imágenes médicas, impulsados por grandes arquitecturas de red y la aparición de grandes conjuntos de datos etiquetados. La tecnología de vanguardia que ofrece la inteligencia artificial (IA) permite entrenar algoritmos que reconocen anomalías y hallazgos críticos en las radiografías de tórax. Existen diversos algoritmos de IA disponibles en el mercado; a pesar de ello, hay poca evidencia imparcial sobre la comparación de rendimiento no solo contra los radiólogos, sino entre sí. De esta manera, existe una necesidad actual de estudios que arrojen luz y generen métricas estadísticas objetivas que proporcionen evidencia científica a los centros médicos, hospitales, clínicas, centros de investigación y muchos más sitios, que quieran adquirir e incorporar herramientas de IA para radiología en su flujo de trabajo diario. El objetivo y propósito principal del presente Trabajo Fin de Máster (TFM) es la evaluación de las versiones más recientes de Oxipit ChestEye©, Lunit INSIGHT©, Annalise CXR© y Quibim Chest X-Ray Classifier©, cuatro algoritmos comerciales de IA para categorizar su rendimiento utilizando un conjunto de datos que no ha sido empleado previamente para entrenar ningún paquete de software de aprendizaje profundo. Así, se compararán los resultados entre ellos y junto con el informe radiológico para elaborar una clasificación basada en la obtención de métricas cuantitativas y evaluar su potencial uso clínico, donde la investigación imparcial de calidad sobre este tema es escasa.

[CA] La radiografia de tòrax és la prova diagnòstica més utilitzada a la pràctica clínica. La radiografia de tòrax (RX) sol ser el primer estudi d'imatge que s'adquireix i continua sent fonamental per al triatge, el diagnòstic i el tractament d'un nombre ampli de malalties. La seva gran demanda es pot atribuir a la rendibilitat i baixa dosi de radiació, juntament amb l'alta sensibilitat per a la detecció de multituds patologies toràciques en situacions d'emergència. D'altra banda, s'estan plantejant estudis de com afecta la càrrega assistencial i la fatiga acumulada al resultat del diagnòstic realitzat pels radiòlegs. Aquesta tasca, que consumeix molt de temps, pot donar lloc a errors i la manca d'experiència en el diagnòstic pot afectar, sobretot a les zones del món on no hi ha radiòlegs suficients disponibles. Recentment, els enfocaments d'aprenentatge profund han estat capaços d'aconseguir un rendiment a nivell d'expert en tasques d'interpretació d'imatges mèdiques, impulsats per grans arquitectures de xarxa i alimentats per l'aparició de grans conjunts de dades etiquetats. La tecnologia d'avantguarda que ofereix la intel·ligència artificial (IA) pot entrenar algorismes que reconeguin anomalies i troballes crítiques a les radiografies de tòrax. Hi ha diversos algorismes d'IA disponibles al mercat; malgrat això, hi ha poca evidència imparcial sobre la comparació de rendiment no només contra els radiòlegs, sinó entre ells. D'aquesta manera, hi ha una necessitat actual d'estudis d'eliminació de llum que generin mètriques estadístiques objectives que aportin evidència científica a centres mèdics, hospitals, clíniques, centres d'investigació i molts més llocs, que volen adquirir i incorporar eines d'IA per a la radiologia en els seus flux de treball diari. El principal objectiu i propòsit del present Treball de Fi de Màster (TFM) és l'avaluació de les versions més recents d'Oxipit ChestEye©, Lunit INSIGHT©, Annalize CXR© i Quibim Chest X-Ray Classifier©, quatre algorismes comercials d'IA per categoritzar el seu rendiment mitjançant un conjunt de dades que no s'ha utilitzat anteriorment per entrenar cap paquet de programari d'aprenentatge profund. Així, es compararan els resultats entre ells i juntament amb l'informe de radiologia per elaborar una classificació basada en l'obtenció de mètriques quantitatives i avaluar-ne el potencial ús clínic, on la investigació imparcial de qualitat sobre aquest tema és escassa.

[EN] Chest radiography is the most performed diagnostic test in clinical practice. Chest X- Ray (CXR) is often the first imaging study acquired and remains critical for triage, diagnosis, and treatment of a wide range of diseases. Its high demand can be attributed to its cost-effectiveness and low radiation dose, combined with its high sensitivity for the detection of a multitude of thoracic pathologies in emergency situations.

So far, it can be a challenge to detect early changes due to the burden of care and accumulated fatigue, affecting radiologists. This time-consuming task can lead to errors and a lack of diagnostic expertise can affect in areas of the world where radiologists are not available. Recently, deep learning approaches have been able to achieve expert-level performance in medical image interpretation tasks, driven by large network architectures and fueled by the emergence of large and labeled datasets.

Cutting-edge technology offered by artificial intelligence (AI) can train algorithms that recognize critical abnormalities and findings on chest radiographs. There are several AI algorithms available on the market; despite this, there is little unbiased evidence on performance comparison not only against radiologists, but against each other. In this way, there is a current need for light shedding studies that generate objective statistical metrics that provide scientific evidence to medical centers, hospitals, clinics, research centers, and many more sites, that want to acquire and incorporate AI tools for radiology into their daily workflow.

The main objective and purpose of the present Master's Thesis (TFM) is the evaluation of the most recent versions of Oxipit ChestEye©, Lunit INSIGHT©, Annalise CXR© and Quibim Chest X-Ray Classifier©, four commercial AI algorithms to categorize their performance using a dataset that has not been previously used to train any deep learning software package. Thus, the results will be compared among them and together with the radiology report to elaborate a classification based on obtaining quantitative metrics and assess their potential clinical use, where quality impartial research on this topic is scarce.

Keywords: artificial intelligence, chest X-ray analysis, business strategy , thoracic diseases, deep learning medical devices.