Advanced techniques in medical image segmentation of the liver

Abstract

[EN] Image segmentation is, along with multimodal and monomodal registration, the operation with the greatest applicability in medical image processing. There are many operations and filters, as much as applications and cases, where the segmentation of an organic tissue is the first step. The case of liver segmentation in radiological images is, after the brain, that on which the highest number of scientific publications can be found. This is due, on the one hand, to the need to continue innovating in existing algorithms and, on the other hand, to the applicability in many situations related to diagnosis, treatment and monitoring of liver diseases but also for clinical planning.

In the case of magnetic resonance imaging (MRI), only in recent years some solutions have achieved good results in terms of accuracy and robustness in the segmentation of the liver. However these algorithms are generally not user-friendly. In the case of computed tomography (CT) scans more methodologies and solutions have been developed but it is difficult to find a good trade-off between accuracy and practical clinical use.

To improve the state-of-the-art in both cases (MRI and CT), a common methodology to design and develop two liver segmentation algorithms in those imaging modalities has been proposed in this thesis.

The second step has been the validation of both algorithms. In the case of CT images, there exist public databases with images segmented manually by experts that the scientific community uses as a common link for the validation and comparison of their algorithms. The validation is done by obtaining certain coefficients of similarity between the manual and the automatic segmentation. This way of validating the accuracy of the algorithm has been followed in this thesis, except in the case of magnetic resonance imaging because, at present, there are no databases publicly available. In this case, there aren't public or accessible images. Accordingly, a private database has been created where several expert radiologists have manually segmented different studies of patients that have been used as a reference. This database is composed by 17 studies (with more than 1,500 images), so the validation of this method in MRI is one of the more extensive currently published.

In the validation stage, an accuracy above 90% in the Jaccard and Dice coefficients has been achieved. The vast majority of the compared authors achieves similar values. However, in general, the algorithms proposed in this thesis are more user-friendly for clinical environments because the computational cost is lower, the clinical interaction is non-existent and it is not necessary an initiation in the case of the magnetic resonance algorithm and a small initiation (it is only necessary to introduce a manual seed) for the computed tomography algorithm.

In this thesis, a third hypothesis that makes use of the results of liver segmentation in MRI combined to augmented reality algorithms has also been developed. Specifically, a real and innocuous study, non-invasive for clinician and patient has been designed and validated through it has been shown that the use of this technology creates benefits in terms of greater accuracy and less variability versus the non-use in a particular case of laparoscopic surgery.

[ES] La segmentación de imágenes es, junto al registro multimodal y monomodal, la operación con mayor aplicabilidad en tratamiento digital de imagen médica. Son multitud las operaciones y filtros, así como las aplicaciones y casuística, que derivan de una segmentación de un tejido orgánico. El caso de segmentación del hígado en imágenes radiológicas es, después del cerebro, la que mayor número de publicaciones científicas podemos encontrar. Esto es debido por un lado a la necesidad de seguir innovando en los algoritmos ya existentes y por otro a la gran aplicabilidad que tiene en muchas situaciones relacionadas con el diagnóstico, tratamiento y seguimiento de patologías hepáticas pero también para la planificación clínica de las mismas.

En el caso de imágenes de resonancia magnética, sólo en los últimos años han aparecido soluciones que consiguen buenos resultados en cuanto a precisión y robustez en la segmentación del hígado. Sin embargo dichos algoritmos, por lo general son poco utilizables en el ambiente clínico. En el caso de imágenes de tomografía computarizada encontramos mucha más variedad de metodologías y soluciones propuestas pero es difícil encontrar un equilibrio entre precisión y uso práctico clínico.

Es por ello que para mejorar el estado del arte en ambos casos (imágenes de resonancia magnética y tomografía computarizada) en esta tesis se ha planteado una metodología común a la hora de diseñar y desarrollar sendos algoritmos de segmentación del hígado en las citadas modalidades de imágenes anatómicas.

El segundo paso ha sido la validación de ambos algoritmos. En el caso de imágenes de tomografía computarizada existen bases de datos públicas con imágenes segmentadas manualmente por expertos y que la comunidad científica suele utilizar como nexo común a la hora de validar y posteriormente comparar sus algoritmos. La validación se hace mediante la obtención de determinados coeficientes de similitud entre la imagen segmentada manualmente por los expertos y las que nos proporciona el algoritmo. Esta forma de validar la precisión del algoritmo ha sido la seguida en esta tesis, con la salvedad que en el caso de imágenes de resonancia magnética no existen bases de datos de acceso público. Por ello, y para este caso, lo que se ha hecho es la creación previa de una base de datos propia donde diferentes expertos radiólogos han segmentado manualmente diferentes estudios de pacientes con el fin de que puedan servir como referencia y se pueda seguir la misma metodología que en el caso anterior. Dicha base de datos ha hecho posible que la validación se haga en 17 estudios (con más de 1.500 imágenes), lo que convierte la validación de este método de segmentación del hígado en imágenes de resonancia magnética en una de las más extensas publicadas hasta la fecha.

La validación y posterior comparación han dejado patente una precisión superior al 90% reflejado en el coeficiente de Jaccard y Dice, muy en consonancia con valores publicados por la inmensa mayoría de autores que se han podido comparar. Sin embargo, y en general, los algoritmos planteados en esta tesis han obtenido unos criterios de uso mucho mayores, ya que en general presentan menores costes de computación, una interacción clínica casi nula y una iniciación nula en el caso del algoritmo de resonancia magnética y casi nula en el caso de algoritmos de tomografía computarizada.

En esta tesis, también se ha abordado un tercer punto que hace uso de los resultados obtenidos en la segmentación del hígado en imágenes de resonancia magnética. Para ello, y haciendo uso de algoritmos de realidad aumentada, se ha diseñado y validado un estudio real inocuo y no invasivo para el clínico y para el paciente donde se ha demostrado que la utilización de esta tecnología reporta mayores beneficios en cuanto a mayor precisión y menor variabilidad frente a su no uso en un caso concreto de ciru

[CA] La segmentació d'imatges és, al costat del registre multimodal i monomodal, l'operació amb major aplicabilitat en tractament digital d'imatge mèdica. Són multitud les operacions i filtres, així com les aplicacions i casuística, que comencen en la segmentació d'un teixit orgànic. El cas de segmentació del fetge en imatges radiològiques és, després del cervell, la que major nombre de publicacions científiques podem trobar. Això és degut per una banda a la necessitat de seguir innovant en els algoritmes ja existents i per un altre a la gran aplicabilitat que té en moltes situacions relacionades amb el diagnòstic, tractament i seguiment de patologies hepàtiques però també per a la planificació clínica de les mateixes.

En el cas d'imatges de ressonància magnètica, només en els últims anys han aparegut solucions que aconsegueixen bons resultats quant a precisió i robustesa en la segmentació del fetge. No obstant això aquests algoritmes, en general són poc utilitzables en l'ambient clínic. En el cas d'imatges de tomografia computeritzada trobem molta més varietat de metodologies i solucions proposades però és difícil trobar un equilibri entre precisió i ús pràctic clínic.

És per això que per millorar l'estat de l'art en els dos casos (imatges de ressonància magnètica i tomografia computeritzada) en aquesta tesi s'ha plantejat una metodologia comuna a l'hora de dissenyar i desenvolupar dos algoritmes de segmentació del fetge en les esmentades modalitats d'imatges anatòmiques.

El segon pas ha estat la validació de tots dos algoritmes. En el cas d'imatges de tomografia computeritzada hi ha bases de dades públiques amb imatges segmentades manualment per experts i que la comunitat científica sol utilitzar com a nexe comú a l'hora de validar i posteriorment comparar els seus algoritmes. La validació es fa mitjançant l'obtenció de determinats coeficients de similitud entre la imatge segmentada manualment pels experts i les que ens proporciona l'algoritme. Aquesta forma de validar la precisió de l'algoritme ha estat la seguida en aquesta tesi, amb l'excepció que en el cas d'imatges de ressonància magnètica no hi ha bases de dades d'accés públic. Per això, i per a aquest cas, el que s'ha fet és la creació prèvia d'una base de dades pròpia on diferents experts radiòlegs han segmentat manualment diferents estudis de pacients amb la finalitat que puguen servir com a referència i es puga seguir la mateixa metodologia que en el cas anterior. Aquesta base de dades ha fet possible que la validació es faja en 17 estudis (amb més de 1.500 imatges), cosa que converteix la validació d'aquest mètode de segmentació del fetge en imatges de ressonància magnètica en una de les més extenses publicades fins a la data.

La validació i posterior comparació han deixat patent una precisió superior al 90 \% reflectit en el coeficient de \ textit {Jaccard} i \ textit {Dice}, molt d'acord amb valors publicats per la immensa majoria d'autors en que s'ha pogut comparar. No obstant això, i en general, els algoritmes plantejats en aquesta tesi han obtingut uns criteris d'ús molt més grans, ja que en general presenten menors costos de computació, una interacció clínica quasi nul·la i una iniciació nul·la en el cas de l'algoritme de ressonància magnètica i quasi nul·la en el cas d'algoritmes de tomografia computeritzada.

En aquesta tesi, també s'ha abordat un tercer punt que fa ús dels resultats obtinguts en la segmentació del fetge en imatges de ressonància magnètica. Per a això, i fent ús d'algoritmes de realitat augmentada, s'ha dissenyat i validat un estudi real innocu i no invasiu per al clínic i per al pacient on s'ha demostrat que la utilització d'aquesta tecnologia reporta més beneficis pel que fa a major precisió i menor variabilitat enfront del seu no ús en un cas concret de cirurgia amb laparoscòpia.