On the exploration of Deep Reinforcement Learning in Stock Trading through the framework FinRL

Abstract

[EN] Making informed financial decisions takes time and knowledge. Resources that not everyone possesses. In addition, individuals, families, and firms are expense units that need to maintain financial stability to overcome emergency times. This means that part of the population might need additional monetary resources but does not have the ability to obtain them. This work offers a solution for this problem: a tool to advise expense units on how to trade. The proposed paradigm to do so is Deep Reinforcement Learning. First, an analysis of different Reinforcement Learning algorithms and modeling is carried out. This is done in order to identify whether it exists a significant difference in using some financial indicators or others, and if the Agent performs better using more or less financial indicators. Based on the analysis results, the best combination of financial indicators is chosen to build a system that incorporates the contributions of three different algorithms, offering a solution that synthesizes the outputs of all of them. This project proposes an app that simulates a Reinforcement Learning robot that takes as input the amount of money the user owns and is available for trading, the number of shares they already own, the stock prices in the financial market, and financial indicators. The robot then outputs the recommended trades that give the user the best profitability. This app is customizable to the user circumstances. The FinRL library supports the development of this solution.

[ES] Tomar decisiones financieras informadas requiere tiempo y conocimiento. Recursos que no todos poseen. Además, los individuos, las familias y las empresas son unidades de gasto que necesitan mantener la estabilidad financiera para superar tiempos de emer- gencia. Esto significa que parte de la población podría necesitar recursos monetarios adi- cionales pero no tiene la capacidad de obtenerlos. Este trabajo ofrece una solución a este problema: una herramienta para asesorar a las unidades de gasto sobre cómo operar a corto plazo en el mercado financiero (trading). El paradigma propuesto para hacerlo es el aprendizaje por refuerzo profundo. En primer lugar, se realiza un análisis de diferentes algoritmos y modelados de aprendizaje por refuerzo. Esto se hace con el fin de identificar si existe una diferencia significativa en el uso de unos indicadores financieros u otros, y si el agente se desempeña mejor usando más o menos indicadores financieros. Con base en los resultados del análisis, se elige la mejor combinación de indicadores financieros para construir un sistema que incorpora las contribuciones de tres algoritmos diferentes, ofre- ciendo una solución que sintetiza los resultados de todos ellos. Este proyecto propone una aplicación que simula un robot de aprendizaje por refuerzo que toma como entrada la cantidad de dinero que posee el usuario y está disponible para negociar, la cantidad de acciones que ya posee, los precios de las acciones en el mercado financiero e indicadores financieros. Luego, el robot genera las operaciones recomendadas que brindan al usuario la mejor rentabilidad. Esta aplicación se puede personalizar según las circunstancias del usuario. La biblioteca FinRL respalda el desarrollo de esta solución.

[CA] Prendre decisions financeres informades requereix temps i coneixement. Recursos que no tothom té. A més, les persones, les famílies i les empreses són unitats de despesa que necessiten mantenir l’estabilitat financera per superar els temps d’emergència. Això vol dir que part de la població pot necessitar recursos monetaris addicionals però no té la capacitat d’obtenir-los. Aquest treball ofereix una solució a aquest problema: una eina per assessorar les unitats de despesa sobre com operar a curt termini en el mercat financer (trading). El paradigma proposat per fer-ho és l’aprenentatge de reforç profund. En primer lloc, es realitza una anàlisi de diferents algorismes i modelització d’aprenentatge per reforç. Això es fa per tal d’identificar si existeix una diferència significativa en l’ús d’uns indicadors financers o d’altres, i si l’agent té un millor rendiment utilitzant més o menys indicadors financers. A partir dels resultats de l’anàlisi, s’escull la millor combinació d’indicadors financers per construir un sistema que incorpori les aportacions de tres algorismes diferents, oferint una solució que sintetitza els resultats de tots ells. Aquest projecte proposa una aplicació que simula un robot d’aprenentatge de reforç que pren com a entrada la quantitat de diners que té l’usuari i està disponible per negociar, el nombre d’accions que ja posseeix, els preus de les accions al mercat financer i els indicadors financers. Aleshores, el robot emet les operacions recomanades que donen a l’usuari la millor rendibilitat. Aquesta aplicació es pot personalitzar segons les circumstàncies de l’usuari. La biblioteca FinRL dóna suport al desenvolupament d’aquesta solució.