基于深度强化学习的股票量化交易方法、存储介质及设备技术

本发明专利技术公开了一种基于深度强化学习的股票量化交易方法、存储介质及设备，获取基本面数据并进行预处理，构建技术指标因子；根据基本面数据和技术指标因子构建深度残差网络，定义深度强化学习模型并进行训练；对训练好的深度强化学习模型进行回测，分析回测结果验证强化学习模型的有效性；利用回测后的深度强化学习模型构建股票池，获取每只股票的历史数据，传入训练好的目标网络中，计算对应采取动作，完成交易策略构建，根据策略实现股票量化交易。本发明专利技术使用引入了深度残差网络的深度强化学习模型来进行股票的量化交易，在提升了模型对股票市场的拟合程度的同时，提高了交易效率。避免了人手工操盘的缺陷。

Stock quantitative trading method, storage medium and equipment based on deep reinforcement learning

【技术实现步骤摘要】
基于深度强化学习的股票量化交易方法、存储介质及设备
本专利技术属于智慧金融
，具体涉及一种基于深度强化学习的股票量化交易方法、存储介质及设备。
技术介绍
近几年来，伴随着计算机科学与技术的飞速发展，人工智能算法领域也有了很大的进步。深度强化学习也在此之中逐步发展起来，结合了强化学习对环境的探索与学习能力与深度神经网络对环境强大的感知能力，深度强化学习越来越多的收到广大学者的青睐。其发展不出大多被用于自动化，智能控制，自动驾驶等这些领域。近年来，部分学者开始考虑将其应用于金融行业，用来进行对金融市场的分析研究，与决策。深度强化学习在金融领域的应用是当下热点。大多数的研究都是采用强化学习的方法来优化深度神经网络的参数，得到一个最优的算法模型用来进行决策交易。但针对于这方面的一些研究还存在着一些问题：1)没有更多的考虑过拟合的问题，只是简单的采用随机丢弃模型节点的方法来降低模型的过拟合问题。但对于金融数据来说，层数较深的深度神经网络及易产生过拟合现象，导致模型样本外的效果降低。因此，本文引入残差网络替代以往研究中的网络层，解决过本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的股票量化交易方法，其特征在于，包括以下步骤：/nS1、获取基本面数据并进行预处理，构建技术指标因子；/nS2、根据步骤S1的基本面数据和技术指标因子构建深度残差网络，定义深度强化学习模型并进行训练；/nS3、对步骤S2训练好的深度强化学习模型进行回测，分析回测结果验证强化学习模型的有效性；/nS4、利用步骤S3回测后的深度强化学习模型构建股票池，获取每只股票的历史数据，传入步骤S3训练好的目标网络中，计算对应采取动作，完成交易策略构建，根据策略实现股票量化交易。/n

【技术特征摘要】
1.一种基于深度强化学习的股票量化交易方法，其特征在于，包括以下步骤：
S1、获取基本面数据并进行预处理，构建技术指标因子；
S2、根据步骤S1的基本面数据和技术指标因子构建深度残差网络，定义深度强化学习模型并进行训练；
S3、对步骤S2训练好的深度强化学习模型进行回测，分析回测结果验证强化学习模型的有效性；
S4、利用步骤S3回测后的深度强化学习模型构建股票池，获取每只股票的历史数据，传入步骤S3训练好的目标网络中，计算对应采取动作，完成交易策略构建，根据策略实现股票量化交易。


2.根据权利要求1所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S1具体为：
S101、采用聚宽量化平台提供的API接口获取股票的日线数据，对日线数据进行预处理后存入本地数据库；获取基本数据后，对数据进行清洗，计算数据的技术指标，然后存入数据库中；
S102、采用均值方式对步骤S101获取的基本数据中的缺失情况进行填充；
S103、对步骤S101和步骤S102的数据进行归一化处理。


3.根据权利要求2所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S102中，采用均值方式进行填充，填充结果X具体为：



其中，n为获取数据的个数，xi为第i个数据的取值。


4.根据权利要求1所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S2具体为：
S201、定义强化学习用于探索环境，根据当前环境模拟投资者做出买入，卖出或持有动作，采取一个动作之后能够带来收益的变化当作奖励值，使用探索环境所产生的数据深度强化学习当中的深度残差网络；
S202、深度神经网络采用7层残差神经网络，包括两个结构完全相同的深度神经网络，一个为当前值网络，一个为目标值网络，当前值网络用于时时根据当前的状态计算动作值函数的到当前状态下应该采用的动作；目标值网络用计算的结果构建损失函数更新参数，并将当前值网络的参数拷贝给目标值网络；作为模型结构构建深度强化学习算法模型；
S203、采用强化学习的所探索的数据作为当前值与目标值网络的输入，动作值函数作为输出，对步骤S202构建的模型进行训练。


5.根据权利要求4所述的基于深度强化学习的股票量化交易方法，其特征在于，步骤S203具体为：
S2031、根据网络结构使用Tensorflow构建两个结构相同的深度残差网络并随机初始化网络参数；
S2032、深度强化学习模型获取当前时刻市场所处的状态St并传入步骤S2031所构建的网络当前值网络当中，计算此时所要采取的动作at；
S2033、模型执行动作at并计算采取对应动作之后所到达的下一状态St+1，以及所获取的奖励值R；
...

【专利技术属性】
技术研发人员：吝勃，吴炳鑫，史维峰，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61