基于复值树突神经模型的时间序列预测方法和系统技术方案

本发明专利技术涉及神经网络技术领域，公开一种基于复值树突神经模型的时间序列预测方法和系统，方法包括获取原始数据进行复值化处理得到训练集，构建复值树突神经模型；使用所述训练集训练所述复值树突神经模型得到训练完成的复值树突神经模型，训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数；将待测数据输入训练完成的复值树突神经模型得到预测结果；系统包括数据获取模块、建模模块、训练模块和预测模块。本发明专利技术可以加快收敛速度、提高精确性，适用于大型数据集。适用于大型数据集。适用于大型数据集。

【技术实现步骤摘要】
基于复值树突神经模型的时间序列预测方法和系统


[0001]本专利技术涉及神经网络
，尤其是指一种基于复值树突神经模型的时间序列预测方法和系统。

技术介绍

[0002]股票价格指数预测由于其广泛的金融应用范围而成为研究热点。股票价格指数是一个动态序列，同时伴随着高波动性、非线性和非平稳性，因此预测股票和股价指数并不容易。此外，股市还受到很多宏观经济因素的影响，包括总体经济形势、政治事件、机构投资者和个人投资者的选择和预期、商业公司的政策以及不同投资者的心理等因素，这些因素对股价的确切影响仍然未知，但确实使得金融数据更加难以预测。然而考虑到股市交易体量大这一特点，即便股票价格指数预测的准确性只是略有提高，也可能使投资者受益。因此，如果对从过往的股价中获得的信息进行有效的预处理并应用适当的算法，则可以预测股票价格指数的趋势。
[0003]现有的股票指数预测模型主要有统计模型和基于人工神经网络的模型。统计模型可以根据历史数据和信息，跟踪股票指数序列来进行预测。然而，统计模型很难近似不规则和非线性金融时间序列，因为统计模型过于固定，无法适应不断变化的动态股票数据，所以采用这些传统模型得到的预测结果通常并不精确。而人工神经网络相较于统计模型的优势在于它们对嘈杂和错误数据更具鲁棒性。其中，一种新出现的具有独特模型架构和激励函数的树突神经模型，可以有效捕捉到股票数据细微、连续的变化来提高股票指数序列的预测精度。树突神经模型已被应用于解决各种时间序列预测问题，包括风速预测和医学诊断等问题。树突神经模型与大多数其他人工神经网络不同的是，该模型树突层中使用了乘法运算，以非线性方式有效地回归了不同特征之间的相关关系。树突神经模型由突触层、树突层、膜层和胞体层四层组成，具体架构如图1所示，其中：
[0004]突触层是树突神经模型的第一层，它接收来自突触前神经元的信息并将信息传递给突触后神经元。在突触层中，可以使用sigmoid函数将第i维输入x
i
(i＝1,2,...,D)连接到第j个树突层(j＝1,2,...,Ms)，D是输入维度，Ms是树突层数。突触层的输出为Y
ij
，ω
ij
和θ
ij
分别是需要学习的连接权重和阈值，k是一个正常数。公式表示为：
[0005][0006]树突层是树突神经模型的第二层，该层使用乘法作为非线性激活函数。树突层中第j层的输出Z
j
表示为：
[0007][0008]膜层是树突神经模型的第三层，该层将所有树突分支的输出值求和，然后求和后的输出值V被传递到下一层以激活。膜层的公式表示如下：
[0009][0010]胞体层是树突神经模型的第四层，也是最后一层。含义是当输入值超过阈值时，胞体会被触发。因此，胞体O的公式定义为：
[0011][0012]式中，k
s
是一个正常数，θ
s
∈(0,1)是一个定阈值。
[0013]对于复数信号的处理，复值神经网络是一种行之有效的手段，在一些应用领域如图像处理、复信号处理等，复值神经网络的表现已经被证实在许多方面都超过了相同结构的实值神经网络。复值树突神经模型可以与树突神经模型具有相同的体系结构，但突触层和胞体层所用的激活函数与实值模型不同。在突触层，复值突触连接的定义为：
[0014][0015]式中，x
i
是输入信号，是突触层所用的全复型激活函数，ω
ij
、θ
ij
分别表示复权重和复阈值。
[0016]胞体层的输出定义为：
[0017][0018]式中，是胞体层所用的全复型激活函数。
[0019]对于复值神经网络来说，复梯度算法和复牛顿算法是目前较多的训练算法。复梯度下降算法因计算复杂度低而被广泛应用。梯度类算法通过使用Wirtinger算子进行反向求导，适用于不同类型的复值神经网络，但是复值梯度下降算法也存在一些缺陷。一方面，与实值梯度下降算法一样，复值梯度下降算法的表现相对于二阶算法不太突出。另一方面，由于复值神经网络的损失函数中存在大量的鞍点，也给梯度类算法的训练增加了难度。而牛顿法相比于梯度算法往往能获得更快的收敛速度和更高的精度。牛顿类算法主要可以分为牛顿法和拟牛顿法。牛顿法需要计算海森矩阵的逆，计算量对于大规模问题是非常大的，所以为了降低计算复杂度，现有研究中有同时利用曲率提出了估计Hessian矩阵的准牛顿方法。其中BFGS算法在实践中表现最好，但在BFGS算法中，由于需要存储大规模的矩阵，对内存的消耗仍然很大。为了减少储存量，有限内存的BFGS(L
‑
BFGS)算法被提出。L
‑
BFGS算法只需要保留最近更新的有限次信息，可以进一步减少计算量，降低对内存的需求，增强算法的实用性。自适应复值L
‑
BFGS算法是一种复数域的优化算法，相比于传统的复值L
‑
BFGS算法，它在每一次迭代中都能得到最优的记忆尺度，能够用于求解复数域无约束优化问题
[0020]但是，传统的复值树突神经模型通常采用复梯度算法，很容易陷入鞍点或局部最优解，而且收敛速度相较于复牛顿算法以及复拟牛顿算法也很慢。并且，当样本数量变大，信息冗余时，小批次随机算法会比全批次确定性算法更具优势；同时，小批次随机算法也存在梯度噪声问题，梯度估计不够准确，导致预测精度不准确。

技术实现思路

[0021]为此，本专利技术所要解决的技术问题在于克服现有技术中的不足，提供一种基于复值树突神经模型的时间序列预测方法和系统，可以加快收敛速度、提高精确性，适用于大型数据集。
[0022]为解决上述技术问题，本专利技术提供了一种基于复值树突神经模型的时间序列预测方法，包括：
[0023]S1：获取原始数据进行复值化处理得到训练集，构建复值树突神经模型；
[0024]S2：使用所述训练集训练所述复值树突神经模型得到训练完成的复值树突神经模型，训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数；
[0025]S3：将待测数据输入训练完成的复值树突神经模型得到预测结果。
[0026]在本专利技术的一个实施例中，所述获取原始数据进行复值化处理得到训练集，具体为：
[0027]在一段连续时间内取N个数据，建立时间序列{x
n
|n＝1,
…
,N}，其中N是时间序列的总长度，x
n
是第n个数据；将每p个连续数据作为模型输入，得到N
‑
p个模型输入为I＝{X1,X2,
…
,X
i
,
…
,X
N
‑
p
}，其中X
i
是模型输入的第i个样本，共有N
‑
p个样本为：
[0028][0029]将所述模型输入I作为训练集。
[0030]在本专利技术的一个实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于复值树突神经模型的时间序列预测方法，其特征在于，包括：S1：获取原始数据进行复值化处理得到训练集，构建复值树突神经模型；S2：使用所述训练集训练所述复值树突神经模型得到训练完成的复值树突神经模型，训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数；S3：将待测数据输入训练完成的复值树突神经模型得到预测结果。2.根据权利要求1所述的基于复值树突神经模型的时间序列预测方法，其特征在于：所述获取原始数据进行复值化处理得到训练集，具体为：在一段连续时间内取N个数据，建立时间序列{x
n
|n＝1,
…
,N}，其中N是时间序列的总长度，x
n
是第n个数据；将每p个连续数据作为模型输入，得到N
‑
p个模型输入为I＝{X1,X2,
…
,X
i
,
…
,X
N
‑
p
}，其中X
i
是模型输入的第i个样本，共有N
‑
p个样本为：将所述模型输入I作为训练集。3.根据权利要求1所述的基于复值树突神经模型的时间序列预测方法，其特征在于：所述训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数，具体为：S2
‑
1：初始化模型参数ω
ij
和θ
ij
得到初始外循环参数ω
ij
和θ
ij
分别是需要学习的连接权重和阈值；设定学习率α，最大内循环次数T，最大外循环次数K，其中S2
‑
2：构建外循环：令表示第k次外循环的参数；根据ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式计算当前迭代时刻全样本的平均梯度值S2
‑
3：构建内循环：根据现有的外循环次数递增样本数S，在确定S后进行样本随机采样，此时取到的样本集为Γ；计算方差缩减后的梯度t表示第t次内循环，表示在第k次外循环内进行第t次内循环时的参数，表示内循环参数在随机样本集Γ上的平均梯度，表示外循环参数在随机样本集Γ上的平均梯度；S2
‑
4：计算前后两次迭代时参数的变化量s
c
与前后两次迭代时梯度的变化量y
c
：当前后两次迭代在同一外循环时，有以及当前后两次迭代在
不同外循环时，有以及Γ
‑
1表示用于上一次迭代更新的随机采样的样本集，c表示参数更新次数；S2
‑
5：计算在第k次外循环内进行第t次内循环时的搜索方向S2
‑
6：更新S2
‑
7：如果内循环次数t+1＜T，则令t＝t+1，继续内循环；如果t+1＝T，结束内循环，并令外循环参数k＝k+1，重新开始外循环，直至k达到最大外循环次数K；S2
‑
8：当所有的内循环和外循环都结束后，将此时的作为模型的最佳参数。4.根据权利要求3所述的基于复值树突神经模型的时间序列预测方法，其特征在于：所述ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式的计算方法为：S2
‑2‑
1：构建单神经元复值树突神经模型后向传播的表示式；S2
‑2‑
2：根据所述单神经元复值树突神经模型后向传播的表示式，构建ω
ij
的单个样本的复梯度表示和θ
ij
的单个样本的复梯度表示S2
‑2‑
3：将整体N个样本梯度加和求平均得到ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式5.根据权利要求4所述的基于复值树突神经模型的时间序列预测方法，其特征在于：所述构建单神经元复值树突神经模型后向传播的表示式，具体为：S2
‑2‑1‑
1：根据欧几里德范数计算模型输出层的单样本误差为：e
n
＝O
n
‑
TS
n
；其中，L
n
表示单样本为n时、模型输出的单样本误差，e
n
表示单样本为n时、单样本输出值与目标值的差距，表示e
n
的共轭值，TS
n
表示单样本为n时、该样本的目标值，O
n
表示单样本为n时、该样本的输出值；n∈{1,2,...,N
‑
p}表示所取的单样本序列数，N是时间序列的总长度，p是单个样本的输入维数；S...

【专利技术属性】
技术研发人员：黄鹤，王悦琳，王志东，
申请(专利权)人：苏州大学，
类型：发明
国别省市：