基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法技术

并行训练LSTM‑ResNets负反馈模型，是基于深度学习、统计分析和模型负反馈等方面的基本原理，提高了模型的预测精度,以及提高了模型持续跟踪股价趋势的能力。基于并行训练LSTM‑ResNets负反馈模型的股价趋势预测方法，包括以下步骤：步骤1：对股票数据进行归一化处理；步骤2：构建并行训练LSTM‑ResNets负反馈模型；步骤3：按照模型训练阶段的模型训练流程进行模型训练，生成相关输出；步骤4：按照模型预测阶段的股价预测流程进行股价预测，生成相关输出;步骤5：对股价预测值进行反归一化处理并输出；步骤6：并行训练LSTM‑ResNets负反馈模型的股价预测值的图形化；步骤7：构建量化投资交易体系。

【技术实现步骤摘要】
基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法
本专利技术涉及金融时间序列的研究，具体是应用基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，对股票价格趋势进行量化分析，并建立相关的交易体系。
技术介绍
随着国家经济的发展，人们对资本管理更加重视，投资理财也成为了一种常态，预测未来一段时间的股票市场走势具有重大实际意义。股票市场时间序列数据具有数据维度高、非线性、非平稳等特点，这些特点使得针对股票市场的时间序列数据的预测成为一个研究难点和热点。基本面分析和技术面分析是两种常用的股票分析方法。近几年来，随着人工智能技术与大数据技术快速发展，深度学习方法逐步应用到股票趋势预测。循环神经网络(RecurrentNeuralNetwork，简称RNN)是一种深度学习方法，它是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。循环神经网络具有记忆性、参数共享并且图灵完备，因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络用在自然语言处理，例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。常见的循环神经网络是双向循环神经网络(BidirectionalRNN，Bi-RNN)和长短期记忆网络(LongShort-TermMemorynetworks，简称LSTM)。长短期记忆网络LSTM是解决循环神经网络RNN结构中存在的“梯度消失”问题而提出的，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。残差网络(ResidualNetworks，简称ResNets)是另一种深度学习方法，它由来自MicrosoftResearch的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛(ImageNetLargeScaleVisualRecognitionChallenge，ILSVRC)中获得了图像分类和物体识别的优胜。残差网络的特点是容易优化，并且能够通过增加深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
技术实现思路
1.循环神经网络应用于股价预测的最主要、最关键的几个技术问题:问题1：循环神经网络的模型输出相当于股价预测的一次随机试验，模型输出带有偶然性，模型输出值偏差较大。在附图2应用于股票预测的循环神经网络框架图，循环神经网络的模型输出维度Ny等于1时，循环神经网络预测1天的股价；循环神经网络的模型输出维度Ny大于1时，循环神经网络预测1天到Ny天的股价。循环神经网络的模型输出维度不同，循环神经网络的股价预测方式也不同，本专利将循环神经网络的不同股价预测方式称为股价预测模式。比如1天股价预测模式是循环神经网络预测1天的股价，n天股价预测模式是循环神经网络预测1天到n天的股价。本专利适用于30分钟、60分钟、天、周、月等不同时间段的股价预测。附图3循环神经网络模型输出统计图，图上一排蓝色点是循环神经网络不同股价预测模式的模型输出值，这排蓝色点的宽度代表循环神经网络不同股价预测模式的模型输出的波动范围，神经网络的模型输出值偏差较大。问题2：循环神经网络模型是对股票市场股价趋势的近似模拟，循环神经网络模型存在模型误差，如循环神经网络的模型误差在预测期间持续地扩大，循环神经网络模型的模型输出的预测趋势将和股价实际趋势不一致。附图4循环神经网络模型输出和股价实际趋势不一致示意图，在附图4的虚线方框，循环神经网络的股价预测趋势持续向上，但股价实际趋势持续向下，循环神经网络的模型输出和股价实际趋势不一致。2.循环神经网络应用于股价预测的次要的几个技术问题问题1：常用的技术图形缺少股票序列数据的概率信息，不能目视化地评估股票序列数据发生概率，不能目视化地评估模型预测值的风险。附图5股价K线和成交量线图，成交量线不能目视化地量化评估成交量变化程度。股价K线图没有压力位和支撑位，趋势线的支撑压力位或高低点支撑压力位均需要一定理论基础的投资者在K线图上手动画出来。问题2：技术图形一般以股价的波动形式显示给投资者进行证券买卖所需的一切信息，缺少以股价涨跌幅的波动形式显示股价涨跌幅的规律和趋势。附图5股价K线和成交量线图，股价K线图显示股价的波动形式。技术方案3.本专利技术提供一种基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，是解决以上的循环神经网络应用于股价预测技术问题的一种创新方法，减少循环神经网络的模型输出偏差，提高了循环神经网络模型跟踪股票趋势的能力。基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，包括如下步骤：(1)对股票数据进行归一化处理；(2)构建并行训练LSTM-ResNets负反馈深度学习模型；(3)按照模型训练阶段的模型训练流程进行模型训练，生成相关输出；(4)按照模型预测阶段的股价预测流程进行股价预测，生成相关输出；(5)对股价预测值进行反归一化处理后并输出；(6)并行训练LSTM-ResNets负反馈深度学习模型的股价预测值的图形化；(7)构建自己的量化投资交易体系。3.1对股票数据进行归一化处理从网上下载股票数据，然后将股票的数据进行归一化处理，成交量和股价均缩放到[0，1]之间。股价<100的股票，归一化后的股价等于股价除以100倍；100<股价<1000的股票，归一化后的股价等于股价除以1000；1000<股价<10000的股票，归一化后的股价等于股价除以10000；股价>10000的股票，归一化后的股价等于股价除以100000，这样归一化后的股价和原始股价的关系一目了然。归一化后的成交量等于成交量除以总股本数量，这样归一化后的成交量和总股本建立了一目了然的对应关系。3.2构建并行训练LSTM-ResNets负反馈模型附图1并行训练LSTM-ResNets负反馈模型，并行训练LSTM-ResNets负反馈模型包括并行训练LSTM-ResNets模型、统计生成模型预测值和股价补偿这3个功能块。3.2.1并行训练LSTM-ResNets负反馈模型的模型预测的原理创新3.2.1.1统计学中心极限定理在一次随机试验中某个事件的发生是带有偶然的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律。统计学的中心极限定理指出了大量随机变量近似服从正态分布的条件，在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布。对称分布只要n≥5；分布不对称只要n≥30不论随机变量服从何种分布，只要独立同分布随机变量的个数n较大，那么，随机变量之和的分布、随机变量均值的分布都可以近似为正态分布。统计学中把均值X的标准差称为均值的标准误，记为σx或SE本文档来自技高网...

【技术保护点】
1.基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，其特征在于并行训练LSTM-ResNets模型的模型预测的原理创新：/n1.1 统计学中心极限定理:/n在一次随机试验中某个事件的发生是带有偶然的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律；/n统计学的中心极限定理指出了大量随机变量近似服从正态分布的条件，在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布；/n对称分布只要n≥5；分布不对称只要n≥30不论随机变量服从何种分布，只要独立同分布随机变量的个数n较大，那么，随机变量之和的分布、随机变量均值的分布都可以近似为正态分布；/n统计学中把均值X的标准差称为均值的标准误，记为σx或SEM(standard error of themean)， 无论是正态还是非正态，均值X的标准误都有SEM，/nσx=

【技术特征摘要】
1.基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，其特征在于并行训练LSTM-ResNets模型的模型预测的原理创新：
1.1统计学中心极限定理:
在一次随机试验中某个事件的发生是带有偶然的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律；
统计学的中心极限定理指出了大量随机变量近似服从正态分布的条件，在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布；
对称分布只要n≥5；分布不对称只要n≥30不论随机变量服从何种分布，只要独立同分布随机变量的个数n较大，那么，随机变量之和的分布、随机变量均值的分布都可以近似为正态分布；
统计学中把均值X的标准差称为均值的标准误，记为σx或SEM(standarderrorofthemean)，无论是正态还是非正态，均值X的标准误都有SEM，
σx=
SEM随着n的增加而减少；
1.2循环神经网络的股价预测模式和模型输出:
本文将循环神经网络的不同股价预测方式称为股价预测模式，1天股价预测模式指循环神经网络预测下1个的股价，……，n天股价预测模式是循环神经网络预测下1个股价到下n个股价；
循环神经网络的每个股价预测模式的模型输出可看作是有关股价预测的一次随机事件，循环神经网络的模型输出是带有偶然的，但那些可在相同条件下大量的循环神经网络的模型输出却往往呈现出明显的数量规律；
1.3并行训练LSTM-ResNets模型的模型预测:
本文将并行训练LSTM-ResNets模型应用于近段时间的股价预测简称为股价预测，本文将并行训练LSTM-ResNets模型的下1个股价预测简称为第1天股价预测，……，下n个股价预测简称为第n天股价预测；
本专利适用于30分钟、60分钟、天、周、月等不同时间段的股价预测；
并行训练LSTM-ResNets模型的每个股价预测均依次运行多个循环神经网络的股价预测模式，每个循环神经网络股价预测模式均有模型输出，并行训练LSTM-ResNets模型的每个股价预测的模型输出是多个股价预测模式的模型输出的集合，并行训练LSTM-ResNets模型的模型预测值是多个股价预测的模型输出的平均值；
根据统计学中心极限定理，并行训练LSTM-ResNets模型的模型预测值的标准误随着循环神经网络的模型输出数量的增加而减少,因此并行训练LSTM-ResNets模型的模型预测值要比循环神经网络的单个模型输出值更精确。


2.基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，其特征在于并行训练LSTM-ResNets模型引进了模型负反馈：
2.1负反馈：
反馈又称回馈，是控制论的基本概念，指将系统的输出返回到输入端并以某种方式改变输入，进而影响系统功能的过程，反馈可分为正反馈和负反馈，前者使输出起到与输入相似的作用，使系统偏差不断增大，使系统振荡，可以放大控制作用；后者使输出起到与输入相反的作用，使系统输出与系统目标的误差减小，系统趋于稳定；
2.2并行训练LSTM-ResNets模型引进了模型负反馈：
并行训练LSTM-ResNets模型是对股价趋势的近似模拟，并行训练LSTM-ResNets模型存在模型误差，通过并行训练LSTM-ResNets模型的模型预测值加上股价预测补偿值的方式引入负反馈，并行训练LSTM-ResNets模型的模型误差以负反馈的形式返回到模型，使并行训练LSTM-ResNets模型的模型预测值与实际股价的误差减少,提高并行训练LSTM-ResNets模型跟踪股票趋势的能力。


3.基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，其特征在于包括如下步骤：
（1）对股票数据进行归一化处理；
（2）构建并行训练LSTM-ResNets负反馈深度学习模型；
（3）按照模型训练阶段的模型训练流程进行模型训练，生成相关输出；
（4）按照模型预测阶段的股价预测流程进行股价预测，生成相关输出；
（5）对股价预测值进行反归一化处理后并输出；
（6）并行训练LSTM-ResNets负反馈模型的股价预测值的图形化；
（7）构建自己的量化投资交易体系。


4.根据权利要求3所述的基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，其特征在于步骤（1）对股票的数据进行归一化处理，成交量和股价均缩放到[0,1]之间:股价<100的股票，归一化后的股价等于股价除以100倍；100<股价<1000的股票，归一化后的股价等于股价除以1000；1000<股价<10000的股票，归一化后的股价等于股价除以10000；股价>10000的股票，归一化后的股价等于股价除以100000，这样归一化后的股价和原始股价的关系一目了然；
归一化后的成交量等于成交量除以总股本数量，这样归一化后的成交量和总股本建立了一目了然的对应关系。


5.根据权利要求3所述的基于并行训练LSTM-ResNets负反馈模型的股价趋势预测方法，其特征在于步骤（2）中构建并行训练LSTM-ResNets负反馈模型，并行训练LSTM-ResNets负反馈模型包括并行训练LSTM-ResNets模型、统计生成模型预测值和股价补偿3个功能块；
5.1并行训练LSTM-ResNets模型：
并行训练LSTM-ResNets模型包括模型输入train_X和模型标签train_Y，LSTM-ResNets模型和LSTM-ResNets模型输出这三个部分；
5.1.1并行训练LSTM-ResNets模型的模型输入train_X和train_Y：
并行训练LSTM-ResNets模型的每个股价预测均依次运行多个不同股价预测模式，每个股价预测模式均有自己的模型输入train_X和模型标签train_Y，不同股价预测模式的模型输入train_X的差异在于股票序列数据的起止时间不同；
并行训练LSTM-ResNets模型的每个股价预测模式的模型输入train_X的维度(batchsize,timestep,features)，batchsize是股票数量，timestep是模型输入序列长度，features从股票序列提取的股票特征，股票特征为交易数据或技术指标，技术指标是由交易数据计算获得；
并行训练LSTM-ResNets模型的每个股价预测模式的模型标签train_Y的维度(batchsize,timestep,features)，batchsize是股票数量，timestep是模型输入序列长度，features和股价预测模式有关，1天股价预测模式，features等于1，2天股价预测模式，features等于2，……，n天股价预测模式，features等于n；
5.1.2并行训练LSTM-ResNets模型的LSTM-ResNets模型：
LSTM-ResNets模型是在LSTM模型上增加了ResNets模型，残差网络ResNets容易优化，通过增加相当的深度来提高ResNets模型的准确率；
LSTM-ResNets模型的模型输出包括LSTM模型的模型输出和ResNets模型的模型输出，增加了模型输出的数量，根据统计学中心极限定理，并行训练LSTM-ResNets模型的模型预测值的标准误随着模型输出数量的增加而减少；
并行训练LSTM-ResNets模型的不同的股价预测模式共享LSTM模型的部分参数，通过不同的LSTM模型的输出层和不同的ResNets模型实现相互独立的预测过程，LSTM-ResNets模型和股价预测模式的关系见表1；
表1LSTM-ResNets模型和预测模式的关系表



5.1.3并行训练LSTM-ResNets模型的模型输出：
5.1.3.1股价预测模式的模型输出、模型损失函数和训练方法:
并行训练LSTM-ResNets模型的每个股价预测均依次运行多个不同股价预测模式，每个股价预测模式均有自己的模型输出、模型损失函数和训练方法；
a)并行训练LSTM-ResNets模型的每个股价预测模式的模型输出，包括LSTM模型的模型输出和ResNets模型的模型输出；
b)并行训练LSTM-ResNets模型的每个股价预测模式的模型损失，是将每个股价预测模式的LSTM模型的模型输出和ResNets模型的模型输出分别同实际股价进行误差计算，误差计算采用均方误差(MSE)作为评价指标，均方误差(MSE)越小，模型损失越小，预测精度越高；

……(1)
公式1中，均方误差MSE是反映模型输出与实际股价之间差异程度的一种度量，yi是模
型输出，是实际股价，N是样本总数；
c)并行训练LSTM-ResNets模型对每个股价预测模式中的LSTM模型和ResNets模型进行单独训练，提高每个股价预测模式的LSTM模型输出精度和ResNets模型输出精度；
5.1.3.2并行训练LSTM-ResNets模型的股价预测的模型输出：
a)并行训练LSTM-ResNets模型的每个股价预测依次运行多个股价预测模式，并行训练LSTM-ResNets模型的股价预测的模型输出是多个股价预测模式的模型输出的集合；
b)并行训练LSTM-ResNets模型达到较高的训练精度后，输入模型输入train_X，进行模型预测，生成模型训练前的模型输出；输入模型输入train_X和模型标签train_Y，进行模型训练，生成模型训练后的模型输出；并行训练LSTM-ResNets模型的股价预测的模型输出包括模型训练前的模型输出和模型训练后的模型输出；
5.1.3.3并行训练LSTM-ResNets模型的模型输出：
并行训练LSTM-ResNet深度学习模型的模型输出Y采用字典结构，模型输出Y={key1:Y[key1],key2:Y[key2]}，Key是股价预测序列号，Key的计算公式如下：
key=t+m-1……（2）
公式2中，t是股票序列的t时刻，m是t时刻的并行训练LSTM-ResNets模型的股价预测天数，模型输出Y的股价预测序列号key是由股票序列的t时刻以及t时刻并行训练LSTM-ResNets模型的预测天数m这两个因数决定的；
公式2中，Y[key]是相同的股价预测序列号、不同的股价预测的模型输出集合；
5.2统计生成模型预测值：
并行训练LSTM-ResNets负反馈模型的统计生成模型预测值模块，将并行训练LSTM-ResNets模型的模型输出Y[key]取平均值，生成股价预测序列号key对应的并行训练LSTM-ResNets模型的模型预测值；
5.3并行训练LSTM-ResNets模型的股价补偿：
5.3.1生成模型预测阶段的股价预测补偿值数组:
股票序列长度为T，当股价预测序列号key<T时，这是模型训练阶段；当股价预测序列号key≥T时，这是模型预测阶段；生成模型预测阶段的股价预测补偿值的过程如下：
a）生成模型训练阶段的模型预测补偿值bk：
在模型训练阶段，并行训练LSTM-ResNets模型的第k天股价预测的模型预测值和实际股价生成模型预测补偿值bk，模型预测补偿值bk的计算公式，见公式3；

……（3）
公式3，bk是训练阶段第k天模型预测的补偿值，是实际股价，y是并行训练LSTM-
ResNets模型的模型预测值，0.8是模型预测补偿值修正系数；
b）生成模型训练阶段的模型预测补偿值数组：
第1天股价预测的模型预测补偿值、第2天股价预测的模型预测补偿值，…，直到第n天股价预测的模型预测补偿值，这些模型预测补偿值构成模型训练阶段的模型预测补偿值数组，模型预测补偿值数组的维度(batchsize,day,number)，batchsize为股票数量，day为并行训练LSTM-ResNets模型的股价预测天数，number为股价模型预测补偿值的数量；
c）生成模型预测阶段的股价预测补偿值数组：
模型训练阶段的模型预测补偿值数组，离当日最近的模型预测补偿值蕴含信息最多，权重最大；越是前面的模型预测补偿值权重越小，因此模型训练阶段的模型预测补偿值数组按照权重求和生成模型预测阶段的股价预测补偿值数组；

……（4）
在公式4，是模型预测阶段的股价预测补偿值数组，的数组维度（batchsize,
day），batchsize为股票数量，day为并行训练LSTM-ResNets模型的股价预测天数；是模
型训练阶段的模型预测补偿值数组的i个模型预测补偿值；并行训练LSTM-ResNets模型的
股价补偿过程：是模型预测补偿值的权重，L是正的自然数，...

【专利技术属性】
技术研发人员：幸杰，
申请(专利权)人：幸杰，
类型：发明
国别省市：上海;31