Adquisición de documentos para procesamiento del lenguaje natural

Abstract

[ES] Los medios de comunicación son una gran fuente de información. Gracias al creciente uso de las redes, y con un correcto tratamiento del contenido generado por los usuarios, es posible hacer uso de este contenido en el procesamiento del lenguaje natural. Se ha propuesto realizar como objetivo principal, una herramienta que sea capaz de adquirir contenido de periódicos digitales y una aplicación web capaz de procesar y analizar los datos adquiridos. Para satisfacer el proyecto, ha sido necesario un análisis de requisitos y de datos, un diseño de la solución con diagramas, un estudio de las tecnologías vigentes y un desarrollo de la solución empleando tecnologías como Django, MongoDB y BeautifulSoup4. Tras la medición de tiempos y las pruebas pertinentes, las herramientas permiten extraer, procesar y analizar el contenido con los parámetros definidos por el usuario de una forma adecuada.

[CA] Els mitjans de comunicació són una gran font d'informació. Amb el creixent ús de les xarxes, i amb un correcte tractament del contingut generat pels usuaris, és possible fer ús d'aquest contingut en el processament del llenguatge natural. Com a objectiu principal, s’ha proposat el desenvolupament d’una ferramenta que siga capaç d'adquirir continguts de periòdics digitals i una aplicació web capaç de processar i analitzar les dades adquirides. Per a satisfer el projecte, ha sigut necessari una anàlisi de requisits i de dades, un disseny de la solució amb diagrames, un estudi de les tecnologies vigents i un desenvolupament de la solució emprant tecnologies com Django, MongoDB i BeautifulSoup4. Després de mesurar els temps i fer les proves pertinents, les ferramentes permeten extraure, processar i analitzar el contingut amb els paràmetres definits per l'usuari d'una forma adequada.

[EN] The mass media are a great source of information. With the ever-increasing use of networks, and with a proper treatment of user-generated content, it is possible to make use of this content in natural language processing. It has been suggested as a main objective, a tool capable of acquiring digital newspaper content and a web application capable of processing and analyzing the acquired data. To satisfy the project, it has been necessary an analysis of requirements and data, a design of the solution with diagrams, a study of current technologies and a development of the solution, using technologies such as Django, MongoDB and BeautifulSoup4. After having measured the times and carried out the relevant tests, the tools allow the content to be extracted, processed and analysed with the parameters defined by the user in an appropriate way.