Application of artificial vision algorithms to images of microscopy and spectroscopy for the improvement of cancer diagnosis

Abstract

El diagnóstico final de la mayoría de tipos de cáncer lo realiza un médico experto en anatomía patológica que examina muestras tisulares o celulares sospechosas extraídas del paciente. Actualmente, esta evaluación depende en gran medida de la experiencia del médico y se lleva a cabo de forma cualitativa mediante técnicas de imagen tradicionales como la microscopía óptica. Esta tarea tediosa está sujeta a altos grados de subjetividad y da lugar a niveles de discordancia inadecuados entre diferentes patólogos, especialmente en las primeras etapas de desarrollo del cáncer.

La espectroscopía infrarroja por Transformada de Fourier (siglas FTIR en inglés) es una tecnología ampliamente utilizada en la industria que recientemente ha demostrado una capacidad creciente para mejorar el diagnóstico de diferentes tipos de cáncer. Esta técnica aprovecha las propiedades del infrarrojo medio para excitar los modos vibratorios de los enlaces químicos que forman las muestras biológicas. La principal señal generada consiste en un espectro de absorción que informa sobre la composición química de la muestra iluminada. Los microespectrómetros FTIR modernos, compuestos por complejos componentes ópticos y detectores matriciales de alta sensibilidad, permiten capturar en un laboratorio de investigación común imágenes hiperespectrales de alta calidad que aúnan información química y espacial. Las imágenes FTIR son estructuras de datos ricas en información que se pueden analizar individualmente o junto con otras modalidades de imagen para realizar diagnósticos patológicos objetivos. Por lo tanto, esta técnica de imagen emergente alberga un alto potencial para mejorar la detección y la graduación del riesgo del paciente en el cribado y vigilancia de cáncer.

Esta tesis estudia e implementa diferentes metodologías y algoritmos de los campos interrelacionados de procesamiento de imagen, visión por ordenador, aprendizaje automático, reconocimiento de patrones, análisis multivariante y quimiometría para el procesamiento y análisis de imágenes hiperespectrales FTIR. Estas imágenes se capturaron con un moderno microscopio FTIR de laboratorio a partir de muestras de tejidos y células afectadas por cáncer colorrectal y de piel, las cuales se prepararon siguiendo protocolos alineados con la práctica clínica actual. Los conceptos más relevantes de la espectroscopía FTIR se investigan profundamente, ya que deben ser comprendidos y tenidos en cuenta para llevar a cabo una correcta interpretación y tratamiento de sus señales especiales. En particular, se revisan y analizan diferentes factores fisicoquímicos que influyen en las mediciones espectroscópicas en el caso particular de muestras biológicas y pueden afectar críticamente su análisis posterior.

Todos estos conceptos y estudios preliminares entran en juego en dos aplicaciones principales. La primera aplicación aborda el problema del registro o alineación de imágenes hiperespectrales FTIR con imágenes en color adquiridas con microscopios tradicionales. El objetivo es fusionar la información espacial de distintas muestras de tejido medidas con esas dos modalidades de imagen y centrar la discriminación en las regiones seleccionadas por los patólogos, las cuales se consideran más relevantes para el diagnóstico de cáncer colorrectal. En la segunda aplicación, la espectroscopía FTIR se lleva a sus límites de detección para el estudio de las entidades biomédicas más pequeñas. El objetivo es evaluar las capacidades de las señales FTIR para discriminar de manera fiable diferentes tipos de células de piel que contienen fenotipos malignos. Los estudios desarrollados contribuyen a la mejora de métodos de decisión objetivos que ayuden al patólogo en el diagnóstico final del cáncer. Además, revelan las limitaciones de los protocolos actuales y los problemas intrínsecos de la tecnología FTIR moderna, que deberían abordarse para permit

The final diagnosis of most types of cancers is performed by an expert clinician in anatomical pathology who examines suspicious tissue or cell samples extracted from the patient. Currently, this assessment largely relies on the experience of the clinician and is accomplished in a qualitative manner by means of traditional imaging techniques, such as optical microscopy. This tedious task is subject to high degrees of subjectivity and gives rise to suboptimal levels of discordance between different pathologists, especially in early stages of cancer development.

Fourier Transform infrared (FTIR) spectroscopy is a technology widely used in industry that has recently shown an increasing capability to improve the diagnosis of different types of cancer. This technique takes advantage of the ability of mid-infrared light to excite the vibrational modes of the chemical bonds that form the biological samples. The main generated signal consists of an absorption spectrum that informs of the chemical composition of the illuminated specimen. Modern FTIR microspectrometers, composed of complex optical components and high-sensitive array detectors, allow the acquisition of high-quality hyperspectral images with spatially-resolved chemical information in a common research laboratory. FTIR images are information-rich data structures that can be analysed alone or together with other imaging modalities to provide objective pathological diagnoses. Hence, this emerging imaging technique presents a high potential to improve the detection and risk stratification in cancer screening and surveillance.

This thesis studies and implements different methodologies and algorithms from the related fields of image processing, computer vision, machine learning, pattern recognition, multivariate analysis and chemometrics for the processing and analysis of FTIR hyperspectral images. Those images were acquired with a modern benchtop FTIR microspectrometer from tissue and cell samples affected by colorectal and skin cancer, which were prepared by following protocols close to the current clinical practise. The most relevant concepts of FTIR spectroscopy are thoroughly investigated, which ought to be understood and considered to perform a correct interpretation and treatment of its special signals. In particular, different physicochemical factors are reviewed and analysed, which influence the spectroscopic measurements for the particular case of biological samples and can critically affect their later analysis.

All these knowledge and preliminary studies come into play in two main applications. The first application tackles the problem of registration or alignment of FTIR hyperspectral images with colour images acquired with traditional microscopes. The aim is to fuse the spatial information of distinct tissue samples measured by those two imaging modalities and focus the discrimination on regions selected by the pathologists, which are meant to be the most relevant areas for the diagnosis of colorectal cancer. In the second application, FTIR spectroscopy is pushed to their limits of detection for the study of the smallest biomedical entities. The aim is to assess the capabilities of FTIR signals to reliably discriminate different types of skin cells containing malignant phenotypes. The developed studies contribute to the improvement of objective decision methods to support the pathologist in the final diagnosis of cancer. In addition, they reveal the limitations of current protocols and intrinsic problems of modern FTIR technology, which should be tackled in order to enable its transference to anatomical pathology laboratories in the future.

El diagnòstic final de la majoria de tipus de càncer ho realitza un metge expert en anatomia patològica que examina mostres tissulars o cel¿lulars sospitoses extretes del pacient. Actualment, aquesta avaluació depèn en gran part de l'experiència del metge i es porta a terme de forma qualitativa mitjançant tècniques d'imatge tradicionals com la microscòpia òptica. Aquesta tasca tediosa està subjecta a alts graus de subjectivitat i dóna lloc a nivells de discordança inadequats entre diferents patòlegs, especialment en les primeres etapes de desenvolupament del càncer.

L'espectroscòpia infraroja per Transformada de Fourier (sigles FTIR en anglès) és una tecnologia àmpliament utilitzada en la indústria que recentment ha demostrat una capacitat creixent per millorar el diagnòstic de diferents tipus de càncer. Aquesta tècnica aprofita les propietats de l'infraroig mitjà per excitar els modes vibratoris dels enllaços químics que formen les mostres biològiques. El principal senyal generat consisteix en un espectre d'absorció que informa sobre la composició química de la mostra il¿luminada. Els microespectrómetres FTIR moderns, compostos per complexos components òptics i detectors matricials d'alta sensibilitat, permeten capturar en un laboratori d'investigació comú imatges hiperespectrals d'alta qualitat que uneixen informació química i espacial. Les imatges FTIR són estructures de dades riques en informació que es poden analitzar individualment o juntament amb altres modalitats d'imatge per a realitzar diagnòstics patològics objectius. Per tant, aquesta tècnica d'imatge emergent té un alt potencial per a millorar la detecció i la graduació del risc del pacient en el cribratge i vigilància de càncer.

Aquesta tesi estudia i implementa diferents metodologies i algoritmes dels camps interrelacionats de processament d'imatge, visió per ordinador, aprenentatge automàtic, reconeixement de patrons, anàlisi multivariant i quimiometria per al processament i anàlisi d'imatges hiperespectrals FTIR. Aquestes imatges es van capturar amb un modern microscopi FTIR de laboratori a partir de mostres de teixits i cèl¿lules afectades per càncer colorectal i de pell, les quals es van preparar seguint protocols alineats amb la pràctica clínica actual. Els conceptes més rellevants de l'espectroscòpia FTIR s'investiguen profundament, ja que han de ser compresos i tinguts en compte per dur a terme una correcta interpretació i tractament dels seus senyals especials. En particular, es revisen i analitzen diferents factors fisicoquímics que influeixen en els mesuraments espectroscòpiques en el cas particular de mostres biològiques i poden afectar críticament la seua anàlisi posterior.

Tots aquests conceptes i estudis preliminars entren en joc en dues aplicacions principals. La primera aplicació aborda el problema del registre o alineació d'imatges hiperespectrals FTIR amb imatges en color adquirides amb microscopis tradicionals. L'objectiu és fusionar la informació espacial de diferents mostres de teixit mesurades amb aquestes dues modalitats d'imatge i centrar la discriminació en les regions seleccionades pels patòlegs, les quals es consideren més rellevants per al diagnòstic de càncer colorectal. En la segona aplicació, l'espectroscòpia FTIR es porta als seus límits de detecció per a l'estudi de les entitats biomèdiques més xicotetes. L'objectiu és avaluar les capacitats dels senyals FTIR per discriminar de manera fiable diferents tipus de cèl¿lules de pell que contenen fenotips malignes. Els estudis desenvolupats contribueixen a la millora de mètodes de decisió objectius que ajuden el patòleg en el diagnòstic final del càncer. A més, revelen les limitacions dels protocols actuals i els problemes intrínsecs de la tecnologia FTIR moderna, que haurien d'abordar per permetre la seva transferència als laboratoris d'anatomia patològica en el futur.