Clasificación de imágenes de texto manuscrito con características visuales y geométricas

Abstract

[CA] En tasques de reconeixement de text manuscrit en imatges digitalitzades amb múltiples escriptors es pot abordar el reconeixement amb un model específic per a cada escriptor (o tipus d’escriptura). Si l’escriptura és desconeguda, es pot realitzar un procés de reconeixement amb cada model i triar aquell que proporcione millors resultats segons algun criteri. Aquest procés requereix un temps considerable, que podria reduir-se si es realitza una classificació prèvia de la imatge atenent a les seues característiques visuals. Aquest projecte explora aquesta possibilitat. En aquest projecte s’ha realitzat una experimentació amb xarxes neuronals profundes per a classificar aquestes imatges de text manuscrit segons el tipus d’escriptura present en elles. S’han utilitzat dos conjunts de dades diferents: imatges de la Biblioteca Nacional de España i el conjunt de test del conjunt de dades ICDAR 2017. En ambdós conjunts de dades s’ha realitzat una detecció de text en les imatges i posteriorment les deteccions s’han usat com a entrada als models de xarxes profundes. La classificació final d’una imatge s’ha realitzat mitjançant una mitjana de probabilitats.

[ES] En tareas de reconocimiento de texto manuscrito en imágenes digitalizadas con múltiples escritores se puede abordar el reconocimiento con un modelo específico para cada escritor (o tipo de escritura). Si la mano es desconocida entonces se puede realizar un proceso de reconocimiento con cada modelo y elegir aquel que proporciona mejores resultados según algún criterio. Este proceso requiere un tiempo considerable, que podría reducirse si se realiza una clasificación previa de la imagen atendiendo a sus características visuales. Este proyecto explora esta posibilidad.

En este proyecto se ha realizado una experimentación con redes neuronales profundas para clasificar estas imágenes de texto manuscrito según el tipo de escritura presente en ellas. Se han utilizado dos conjuntos de datos distintos: imágenes de la Biblioteca Nacional de España y el conjunto de test del conjunto de datos ICDAR 2017. En ambos conjuntos de datos se ha realizado una detección de texto en las imágenes y posteriormente las detecciones se han usado como entrada a los modelos de redes profundas. La clasificación final de una imagen se ha realizado mediante un promedio de probabilidades.

[EN] In tasks of handwritten text recognition in digitized images with multiple writers, recognition can be approached with a specific model for each writer (or type of handwriting). If the writer is unknown, a recognition process can be performed with each model, and the one that provides the best results according to some criteria can be chosen. This process requires considerable time, which could be reduced by performing a preliminary classification of the image based on its visual characteristics. This project explores this possibility. In this project, experimentation has been carried out with deep neural networks to classify these handwritten text images according to the type of handwriting present in them. Two different datasets have been used: images from the Biblioteca Nacional de España and the test set of the ICDAR 2017 dataset. In both datasets, text detection in the images was performed, and subsequently, the detections were used as input to the deep network models. The final classification of an image was performed by averaging probabilities.