一种多变量输入多变量输出时间序列预测方法及系统技术方案

本发明专利技术提供一种多变量输入多变量输出时间序列预测方法及系统,其中一种多变量输入多变量输出时间序列预测方法，其具体步骤如下：S1.准备多变量时序数据X；S2.使用卷积网络对多变量时序数据X进行逐个时序计算，获得时序趋势数据R；S3.构建基于自注意模型的长周期编解码模型，计算当前与历史时间趋势的相关性向量Corr、待预测时序变量间的协变关系Corr

【技术实现步骤摘要】
一种多变量输入多变量输出时间序列预测方法及系统


[0001]本专利技术属于时间序列预测领域，涉及一种多变量输入多变量输出时间序列预测方法及系统。

技术介绍

[0002]时间序列预测可分为{单变量输入，单变量输出}，{多变量输入，单变量输出}和{多变量输入，多变量输出}三种情况，第一种情况最简单，仅考虑历史值对未来值的影响，而不考虑其他影响因素，由于参考信息较少，所以预测精度较低；第二种情况考虑了多种影响因素，预测精度有一定程度的提升，但仅针对单变量输出情况，而实际应用场景存在多种待预测变量，故其应用场景范围较小；第三种情况在实际生活中普遍存在，例如根据商品销售情况，折扣，季节等预测未来时间段商品原材料价格，产量以及销售量等，又如根据当前股票价格，市场情绪，国家政策等情况预测未来多种关联股票股价等等。本专利技术方法主要针对多变量输入多变量输出时序预测问题，同时也可应用于多变量输出单变量输出问题。
[0003]针对时间序列预测问题，传统机器学习算法例如ARIMA，LGBM，STL(季节趋势项分解)等，使用特征工程较多，设计复杂，对专家知识，数据分析能力要求高。基于深度学习的方法在一定程度上降低了在特征工程上的工作量，例如LSTM，DeepAR，基于LSTM及Attention的TPA模型等方法，它们可以自动学习时间序列中的频率变量，例如年周期，季度周期，总体趋势等。但是，上述方法无法计算多变量之间的互相影响。为解决了此问题，研究者使用编解码的方式，例如基于LSTM的seq2seq模型，基于Transformers的seq2seq模型 (TFT Temporal Fusion Transformers)等。但是，受限于梯度传递极限，以上方法无法同时兼顾长周期依赖性和关联因素协变性。

技术实现思路

[0004]针对上述
技术介绍
介绍中存在的问题，本专利技术的目的在于提供了一种多变量输入多变量输出时间序列预测方法及系统，基于长周期编解码模型，并根据时间序列周期性进行了优化，从而兼顾长周期依赖性和关联因素协变性，采用卷积网络方法，并使用多核策略，以感知高阶时序梯度，提高编解码序列预测模型对时序趋势的感知能力，提高预测精度。
[0005]本专利技术采用的技术方案是：
[0006]一种多变量输入多变量输出时间序列预测方法,其具体步骤如下：
[0007]S1.准备多变量时序数据X；
[0008]S2.使用卷积网络对多变量时序数据X进行逐个时序计算，获得时序趋势数据R；
[0009]S3.构建基于自注意模型的长周期编解码模型，计算当前与历史时间趋势的相关性向量Corr、待预测时序变量间的协变关系Corr
D
；
[0010]S4.利用相关性向量Corr、协相关性向量Corr
D
和历史数据的时序趋势数据R 计算预测时序变量Y的估计值。
[0011]进一步，步骤S1中的多变量时序数据X包括至少一个时间变量数据g
t
和至少一个非时间变量数据y
t
并按时间顺序排列，即x
t
＝{g
t
,y
t
}，多变量时序数据以 X
t
＝{x1，x2，...，x
t
}表示，其中t表示序列的最后时刻，每时刻的数据n维数据，即有n个变量。
[0012]进一步，步骤S2的具体过程如下：
[0013]卷积网络包括L个卷积核，卷积核大小对应多变量时序数据X在时间上的变化程度，用于提取多变量时序数据X的时序趋势数据R；
[0014]设定使用L个卷积核进行时序趋势计算C＝{c1，c2，...，c
l
}，每个卷积核c
l
大小为{2，3，4}，共3*L个卷积核，以近似对应局部时序趋势曲线的一阶，二阶和三阶梯度；对t时刻单个变量y
it
进行卷积，卷积结果记为：
[0015][0016]式中，s表示时间序列长度，m为变量维度，i为变量序号标记，j为卷积核标记。
[0017]进一步，长周期编解码模型包括1个长周期编码器、1个长周期解码器，其中长周期编码器为一个自注意层，长周期解码器包括一个自注意层和一个自注意解码层；通过在长周期编码器的自注意层输入时序序列{(g
t+1
‑
s
,r
t
‑
s
),...(g
t
,r
t
‑1,), (g
t+1
,r
t
)}进行编码，接着在长周期解码器的自注意层对y
t
进行编码，最后在长周期解码器的自注意解码层结合经过维度对齐的两次编码预测y
t+1
，其中s为时间序列长度。
[0018]进一步，所述长周期编码器包括1个向量创建层、h个注意力函数单元、1 个拼接函数单元、1个线性层，这里输入组合为t+1日的时间变量g
t+1
和t日的序列趋势变量r
t
，向量创建层根据输入创建与注意力函数相对应的3个向量Q、 K、V，h个注意力函数单元根据向量Q、K、V计算相关性，拼接函数单元整合h个注意力函数单元计算的相关性，h个注意力函数单元至少计算Q与2个不同时间间隔的K、V的相关性；
[0019]注意力函数：
[0020]head
i
＝Attention(Q
t
W
iQ
,K
t
‑
τ
W
iK
,V
t
‑
τ
W
iV
)
ꢀꢀꢀꢀꢀꢀ
2)
[0021]式中，τ表示滑动间隔，随着它的变大，注意力模型对长周期的感知力变强； Attention为自注意力函数：
[0022][0023]式中,d
k
是Q、K的维度；
[0024]将多个头拼接的拼接函数为：
[0025]MultiHead(Q,K,V)＝Concat(head1,...,head
h
)W
O
ꢀꢀꢀꢀ
4)
[0026]式中，h为头个数，Concat(head1,...,head
h
)表示将h头的Attention结果进行拼接；W
O
、W
iQ
、W
iK
、W
iV
是已训练好的权值参数矩阵；
[0027]线性层，使其维度为{(t
‑
s)*τ}∪{t
‑
s}，以计算当前与历史时间趋势的相关性向量Corr，
[0028]Corr＝W
F
·
MultiHead(Q,K,V)
ꢀꢀꢀꢀꢀꢀꢀꢀ
5)
[0029]式中，W
F
为线性权值，通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多变量输入多变量输出时间序列预测方法,其具体步骤如下：S1.准备多变量时序数据X；S2.使用卷积网络对多变量时序数据X进行逐个时序计算，获得时序趋势数据R；S3.构建基于自注意模型的长周期编解码模型，计算当前与历史时间趋势的相关性向量Corr、待预测时序变量间的协变关系Corr
D
；S4.利用相关性向量Corr、协相关性向量Corr
D
和历史数据的时序趋势数据R计算预测时序变量Y的估计值。2.根据权利要求1所述的一种多变量输入多变量输出时间序列预测方法，其特征在于：步骤S1中的多变量时序数据X包括至少一个时间变量数据g
t
和至少一个非时间变量数据y
t
并按时间顺序排列，即x
t
＝{g
t
,y
t
}，多变量时序数据以X
t
＝{x1，x2，...，x
t
}表示，其中t表示序列的最后时刻，每时刻的数据n维数据，即有n个变量。3.根据权利要求1所述的一种多变量输入多变量输出时间序列预测方法，其特征在于：步骤S2的具体过程如下：卷积网络包括L个卷积核，卷积核大小对应多变量时序数据X在时间上的变化程度，用于提取多变量时序数据X的时序趋势数据R；设定使用L个卷积核进行时序趋势计算C＝{c1，c2，...，c
l
}，每个卷积核c
l
大小为{2，3，4}，共3*L个卷积核，以近似对应局部时序趋势曲线的一阶，二阶和三阶梯度；对t时刻单个变量y
it
进行卷积，卷积结果记为：式中，s表示时间序列长度，m为变量维度，i为变量序号标记，j为卷积核标记。4.根据权利要求1所述的一种多变量输入多变量输出时间序列预测方法，其特征在于：长周期编解码模型包括1个长周期编码器、1个长周期解码器，其中长周期编码器为一个自注意层，长周期解码器包括一个自注意层和一个自注意解码层；通过在长周期编码器的自注意层输入时序序列{(g
t+1
‑
s
,r
t
‑
s
),...(g
t
,r
t
‑1,),(g
t+1
,r
t
)}进行编码，接着在长周期解码器的自注意层对y
t
进行编码，最后在长周期解码器的自注意解码层结合经过维度对齐的两次编码预测y
t+1
，其中s为时间序列长度。5.根据权利要求4所述的一种多变量输入多变量输出时间序列预测方法，其特征在于：所述长周期编码器包括1个向量创建层、h个注意力函数单元、1个拼接函数单元、1个线性层，这里输入组合为t+1日的时间变量g
t+1
和t日的序列趋势变量r
t
，向量创建层根据输入创建与注意力函数相对应的3个向量Q、K、V，h个注意力函数单元根据向量Q、K、V计算相关性，拼接函数单元整合h个注意力函数单元计算的相关性，h个注意力函数单元至少计算Q与2个不同时间间隔的K、V的相关性；注意力函数：head
i
＝Attention(Q
t
W
iQ
,K
t
‑
τ
W
iK
,V
t
‑
τ
W
iV
)
ꢀꢀꢀꢀ
2)式中，τ表示滑动间隔，随着它的变大，注意力模型对长周期的感知力变强；
Attention为自注意力函数：式中，d
k
是Q、K的维度；将多个头拼接的拼接函数为：MultiHead(Q,K,V)＝Concat(head1,...,head
h
...

【专利技术属性】
技术研发人员：丁锴，李建元，陈涛，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：