Evaluación de la calidad del dato en procesos de ingesta de datos por streaming

Abstract

[ES] El dato se ha convertido en uno de los principales activos para las empresas. Este hecho ha llevado a que las empresas cada vez produzcan y almacenen más datos, pero también intenten explotarlos, dando lugar a un cambio en la manera en la que se trabaja. Esta nueva tendencia en las empresas se conoce como data-driven, donde se pretende basar la toma de decisiones estratégicas en el análisis e interpretación de los datos. Sin embargo, investigaciones han revelado que un 95% de empresas sufren lo que se ha denominado como data-decision-gap, es decir, las empresas desconfían de sus propios datos a la hora de tomar decisiones. Esto se debe, principalmente, a no disponer de herramientas que permitan evaluar la calidad de estos datos, ya que trabajar con datos de baja calidad podría llevar a conclusiones erróneas o análisis imprecisos. El siguiente trabajo presenta el estudio realizado sobre diferentes tecnologías de ingesta de datos para la implementación de los mecanismos y tecnologías necesarias que permitan llevar a cabo la evaluación de la calidad de los datos en el proceso de ingesta en tiempo real en un espacio de datos.

[EN] Data has become one of the most important assets for companies. This fact has led companies to produce and store more and more data, but also to try to exploit it, leading to a change in the way they work. This new trend in business is known as data-driven, where the aim is to base strategic decision-making on the analysis and interpretation of data. However, research has revealed that 95% of companies suffer from what is known as data-decision-gap, i.e. companies distrust their own data when making decisions. This is mainly due to the lack of tools to assess the quality of this data, as working with low-quality data could lead to erroneous conclusions or inaccurate analysis. The following paper presents the study conducted on different data ingestion technologies for the implementation of the necessary mechanisms and technologies to carry out the evaluation of data quality in the real-time ingestion process in a data space.

[CA] La dada s’ha convertit en un dels principals actius per a les empreses. Este fet ha portat al fet que les empreses cada vegada produïsquen i emmagatzemen més dades, però també intenten explotar-los, donant lloc a un canvi en la manera en la qual es treballa. Esta nova tendència en les empreses es coneix com data-driven, on es pretén basar la presa de decisions estratègiques en l’anàlisi i interpretació de les dades. No obstant això, investigacions han revelat que un 95% d’empreses pateixen el que s’ha denominat com data-decision-gap, és a dir, les empreses desconfien de les seues pròpies dades a l’hora de prendre decisions. Això es deu, principalment, a no disposar d’eines que permeten avaluar la qualitat d’estes dades, ja que treballar amb dades de baixa qualitat podria portar a conclusions errònies o anàlisis imprecises. El següent treball presenta l’estudi realitzat sobre diferents tecnologies d’ingesta de dades per a la implementació dels mecanismes i tecnologies necessàries que permeten dur a terme l’avaluació de la qualitat de les dades en el procés d’ingesta en temps real en un espai de dades.