Writer identification in handwritten text images using deep neural networks

Abstract

[EN] The identification of the writer who has written a piece of text is needed in several applications of document analysis and recognition. In particular, it is required for the organization of historical manuscripts in archives and libraries.

Traditional methods used to relay on a segmentation of the written text into individual characters, followed by more or less heuristic analysis of the shape of the characters. This approach has provided some results in simple cases where the text is clear enough to allow the detection and extraction of individual characters. However, it fails dramatically when the writing is sloppy and/or when ancient scripts are considered. Therefore, modern works follow holistic approaches where the writing style is analyzed without character or word detection or extraction. Moreover, machine learning techniques are proving highly adequate to tackle the writer's identification problem in a fully holistic, segmentation-free way. In this direction, deep convolutional neural networks are the most promising models tried so far.

This proposal consists of the development of deep learning methods for the classification of a handwritten image, or a part thereof, into several classes corresponding to possible hands which have written the text. This work will also include experimentation on public-domain, benchmark datasets, as well as on other real-world datasets consisting of historical manuscripts.

[ES] La identificación del escritor que ha escrito un texto es necesaria en varias aplicaciones de análisis y reconocimiento de documentos. En particular, se requiere para la organización de manuscritos históricos en archivos y bibliotecas.

Los métodos tradicionales solían basarse en una segmentación del texto escrito en caracteres individuales, seguido de un análisis más o menos heurístico de la forma de los caracteres. Este enfoque ha proporcionado algunos resultados en casos simples donde el texto es lo suficientemente claro como para permitir la detección y extracción de caracteres individuales. Pero falla completamente cuando la escritura es informal o desordenada y/o cuando se consideran estilos de escritura antiguos. Por lo tanto, los trabajos modernas siguen enfoques holísticos en los que se analiza el estilo de escritura sin detección o extracción previa de caracteres o palabras. Además, las técnicas de aprendizaje automático están demostrando ser muy adecuadas para abordar el problema de identificación del escritor de una manera totalmente holística y sin segmentación. En esta dirección, las redes neuronales convolucionales profundas son los modelos más prometedores que se han probado hasta ahora.

Esta propuesta consiste en el desarrollo de métodos de aprendizaje profundo para la clasificación de una imagen de texto, o una parte de ella, en clases correspondientes a las posibles manos que han escrito el texto. El trabajo también incluirá la experimentación con conjuntos de datos públicos de referencia, así como en otros conjuntos de datos del mundo real, que consisten en manuscritos históricos.

[CA] La identificació de l’escriptor que ha escrit un text és necessària en diverses aplicacions d’anàlisi i reconeixement de documents. En particular, es requereix per a l’organització de manuscrits històrics en arxius i biblioteques. Els mètodes tradicionals solien basar-se en una segmentació de l’ text escrit en caràcters individuals, seguit d’una anàlisi més o menys heurístic de la forma dels caràcters. Aquest enfocament ha proporcionat alguns resultats en casos simples on el text és prou clar com per permetre la detecció i extracció de caràcters individuals. però falla completament quan l’escriptura és informal o desordenada i / o quan es consideren estils d’escriptura antics. Per tant, els treballs modernes segueixen enfocaments holístics en els que s’analitza l’estil d’escriptura sense detecció o extracció prèvia de caràcters o paraules. A més, les tècniques de aprenentatge automàtic estan demostrant ser molt adequades per a abordar el problema d’identificació de l’escriptor d’una manera totalment holística i sense segmentació. En aquesta direcció, les xarxes neuronals convolucionals profundes són els models més prometedors que s’han provat fins ara. Aquesta proposta consisteix en el desenvolupament de mètodes d’aprenentatge profund per a la classificació d’una imatge de text, o una part d’ella, en classes corresponents a les possibles mans que han escrit el text. El treball també inclourà l’experimentació amb conjunts de dades públiques de referència, així com en altres conjunts de dades del món real, que consisteixen en manuscrits històrics.