Diseño de un sistema ETL para la carga de ficheros en aplicaciones dedicadas al telemarketing

Abstract

[ES] En una empresa dedicada al telemarketing los proveedores de la misma envían a la empresa ficheros en los cuales aparece la información necesaria de los clientes potenciales para contactar con ellos. Dicha información debe ser cargada en las aplicaciones dedicadas a la gestión de llamadas. La información proporcionada necesita, en primer lugar, ser extraída en una base de datos. En segundo lugar, los datos deben seguir, por una parte, un conjunto de requisitos a nivel de estructura de datos para que sea cargada correctamente en la aplicación, y por otra, debe cumplir las validaciones exigidas por el proveedor de los datos. Una vez realizado el proceso se deben cargar en la aplicación y devolver la información al proveedor. Actualmente este proceso es en su gran mayoría manual y presenta una serie de carencias que dificultan que pueda ser automatizada tanto la parte de la transformación de los datos como la de dar feedback al proveedor con los criterios exigidos. El objetivo de este proyecto es desarrollar un sistema ETL que corrija las carencias comentadas previamente, haciendo que sea lo más autónomo posible. Para ello, se ha definido una correcta estructura de la base de datos, se han los procesos necesarios para que los datos sean correctos transformando los datos de los ficheros para la carga en la aplicación y haciendo que cumplan las validaciones definidas por los clientes. Como resultado de esto, el tiempo de ejecución se ha reducido considerablemente.

[EN] In a telemarketing company, its suppliers send files that contain all the data of potential customers to contact them. This information must be loaded into the application dedicated to deploy the phoning campaigns. In the first place, the provided information needs to be extracted into a database. After that, all the data must have a determined structure requirements in order to be correctly loaded into the application. It must also meet the validations that are also required by the data provider. Once the process is finished, the information must be loaded into the application and the feedback must be returned to the provider. This process is manual in its majority and has some limitations that make it difficult to automate both the data transformation part and the feedback to the provider with the requested requirements. The aim of this project is to develop an ETL process that deal with the mentioned restrictions, making it as automated as possible. In order to achieve this, we have created a proper database structure and have developed all the necessary processes to make sure that the data met the requirements. To achieve this, the data from the files have been transformed so that it can be loaded into the application meeting the validations defined by the clients. As a result, the execution time has been considerably reduced.