【技术实现步骤摘要】
本申请涉及多元时间序列预测，具体地，涉及一种基于时序二维变化和残差编码器的多元时间序列预测方法。
技术介绍
1、多元时间序列预测模型在各个领域中的应用广泛。多元时间序列预测是在给定时间序列历史值的情况下，通过对历史数据进行分析和建模，预测多个相关时间序列在未来时间点的未来值的任务。它在天气预报、交通预测、股票价格、工业过程控制等方面有着广泛的应用。这些预测结果为决策制定者和规划者提供宝贵信息，帮助他们做出准确预测和决策，从而提高生产效率、优化资源分配、降低风险等。深度模型被广泛用于时序分析任务中，例如循环神经网络(rnn)、时序卷积网络(tcn)和transformer。其中，rnn在处理长期依赖关系时，存在梯度消失和梯度爆炸的问题。且rnn擅长捕捉临近时刻之间的动态变化，长期依赖关系建模能力相对较差。tcn有并行计算的优势且能很好地处理长期依赖，但tcn依赖固定长度窗口的局部建模，主要强调局部周期结构，而经常忽略关键的全局周期模式。transformer虽然在建模长期依赖上具有天然优势，但是由于现实世界的时序变化极其复杂，仅仅依靠离散时间点之间的注意力(attention)难以挖掘出可靠的时序依赖。
技术实现思路
1、为了克服现有技术中的至少一个不足，本申请提供一种基于时序二维变化和残差编码器的多元时间序列预测方法。
2、第一方面，提供一种基于时序二维变化和残差编码器的多元时间序列预测方法，包括：
3、构建多元时间序列预测模型；多元时间序列预测模型包括下采
4、对多元时间序列预测模型进行训练，得到训练后的多元时间序列预测模型；
5、将多元时间序列输入到训练后的多元时间序列预测模型，得到目标预测窗口长度的预测结果。
6、在一个实施例中，下采样单元用于对输入的多元时间序列进行间隔采样和连续采样，得到间隔采样二维矩阵和连续采样二维矩阵；
7、第一投影关联单元用于对间隔采样二维矩阵和连续采样二维矩阵均进行投影操作和关联操作，得到第一二维数据和第二二维数据；
8、残差编码器单元用于分别对第一二维数据和第二二维数据进行特征提取，得到第一特征和第二特征；
9、拼接单元用于拼接第一特征和第二特征，并进行整形，得到拼接后的特征；
10、残差解码器单元用于对拼接后的特征进行解码，得到解码后的数据；
11、第二投影关联单元用于对解码后的数据进行投影操作和关联操作，得到目标预测窗口长度的第一预测数据；
12、全局残差连接单元用于对多元时间序列进行线性映射，得到目标预测窗口长度的第二预测数据；并将目标预测窗口长度的第一预测数据和目标预测窗口长度的第二预测数据相加，得到目标预测窗口长度的预测结果。
13、在一个实施例中，第一投影关联单元包括2个投影关联模块，分别用于对间隔采样二维矩阵和连续采样二维矩阵均进行投影操作和关联操作，得到第一二维数据和第二二维数据。
14、在一个实施例中，投影关联模块包括第一全连接层、elu激活函数层、第二全连接层和逐行全连接层，输入数据经第一全连接层映射为中间特征，中间特征经elu激活函数层进行非线性变换，得到变换后的特征，变换后的特征经第二全连接层进行特征映射，得到映射后的特征；映射后的特征输入逐行全连接层得到逐行全连接层的输出；逐行全连接层的输出与映射后的特征相加，得到投影关联模块的输出。
15、在一个实施例中，残差编码器单元包括2个残差编码器，分别用于对第一二维数据和第二二维数据进行特征提取，得到第一特征和第二特征。
16、在一个实施例中，残差编码器包括依次连接的3个行列残差块，残差编码器将输入的二维数据在列方向上进行压缩，将每列数据投影到一个低维空间中，最终得到的二维数据的行数不变，列数降为1。
17、在一个实施例中，行列残差块包括逐行全连接层、第三全连接层、relu激活函数层、weightnorm层、dropout层、第四全连接层；输入数据依次经过逐行全连接层、第三全连接层、relu激活函数层、weightnorm层、dropout层后，得到第一特征；输入数据经过第四全连接层后的输出，与第一特征相加，得到行列残差块的输出。
18、在一个实施例中，残差解码器单元包括依次连接的3个行列残差块。
19、在一个实施例中，对多元时间序列预测模型进行训练的过程中，采用的损失函数为：
20、
21、其中，lmse为mse损失函数，d为多元时间序列中每个时间步中特征的个数，i为特征的标号，表示时间步从t+1到t+t的第i个特征的真实值，表示时间步从t+1到t+t的第i个特征的预测值，t为多元时间序列的长度，t为目标预测窗口长度。
22、第二方面，提供一种基于时序二维变化和残差编码器的多元时间序列预测装置，包括：
23、模型构建模块，用于构建多元时间序列预测模型；多元时间序列预测模型包括下采样单元、第一投影关联单元、残差编码器单元、拼接单元、残差解码器单元、第二投影关联单元和全局残差连接单元；
24、模型训练模块，用于对多元时间序列预测模型进行训练，得到训练后的多元时间序列预测模型；
25、预测模块，用于将多元时间序列输入到训练后的多元时间序列预测模型，得到目标预测窗口长度的预测结果。
26、相对于现有技术而言，本申请具有以下有益效果：
27、1、本申请通过连续采样和间隔采样结合将一维的时间序列转换为二维的时间序列，连续采样和间隔采样分别关注不同时间段内的数据特征，既强调全局周期结构，又注重局部周期模式；将一维结构时间序列转化为二维结构，能够有效地捕捉时间序列数据中的时序关系和时间依赖性。
28、2、本申请通过投影关联单元，将数据投影到指定维度，降低模型计算复杂度，并通过逐行全连接层，使模型学习到不同时间序列之间的关系。
29、3、本申请定义一个行列残差块，并将其作为残差编码器和残差解码器的基本块，定义的行列残差块能够加快网络的训练和收敛，使模型学习到不同时间序列之间的关系，同时还能够减少过拟合的风险。
本文档来自技高网...【技术保护点】
1.一种基于时序二维变化和残差编码器的多元时间序列预测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述下采样单元用于对输入的所述多元时间序列进行间隔采样和连续采样，得到间隔采样二维矩阵和连续采样二维矩阵；
3.如权利要求1所述的方法，其特征在于，所述第一投影关联单元包括2个投影关联模块，分别用于对所述间隔采样二维矩阵和所述连续采样二维矩阵均进行投影操作和关联操作，得到第一二维数据和第二二维数据。
4.如权利要求3所述的方法，其特征在于，所述投影关联模块包括第一全连接层、ELU激活函数层、第二全连接层和逐行全连接层，输入数据经所述第一全连接层映射为中间特征，所述中间特征经所述ELU激活函数层进行非线性变换，得到变换后的特征，所述变换后的特征经所述第二全连接层进行特征映射，得到映射后的特征；所述映射后的特征输入所述逐行全连接层得到逐行全连接层的输出；所述逐行全连接层的输出与所述映射后的特征相加，得到所述投影关联模块的输出。
5.如权利要求1所述的方法，其特征在于，所述残差编码器单元包括2个残差编码器，分别用于对所述
6.如权利要求5所述的方法，其特征在于，所述残差编码器包括依次连接的3个行列残差块，所述残差编码器将输入的二维数据在列方向上进行压缩，将每列数据投影到一个低维空间中，最终得到的二维数据的行数不变，列数降为1。
7.如权利要求6所述的方法，其特征在于，所述行列残差块包括逐行全连接层、第三全连接层、ReLU激活函数层、WeightNorm层、Dropout层、第四全连接层；输入数据依次经过所述逐行全连接层、第三全连接层、ReLU激活函数层、WeightNorm层、Dropout层后，得到第一特征；输入数据经过所述第四全连接层后的输出，与所述第一特征相加，得到所述行列残差块的输出。
8.如权利要求1所述的方法，其特征在于，所述残差解码器单元包括依次连接的3个行列残差块。
9.如权利要求1所述的方法，其特征在于，对所述多元时间序列预测模型进行训练的过程中，采用的损失函数为：
10.一种基于时序二维变化和残差编码器的多元时间序列预测装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于时序二维变化和残差编码器的多元时间序列预测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述下采样单元用于对输入的所述多元时间序列进行间隔采样和连续采样，得到间隔采样二维矩阵和连续采样二维矩阵；
3.如权利要求1所述的方法，其特征在于，所述第一投影关联单元包括2个投影关联模块，分别用于对所述间隔采样二维矩阵和所述连续采样二维矩阵均进行投影操作和关联操作，得到第一二维数据和第二二维数据。
4.如权利要求3所述的方法，其特征在于，所述投影关联模块包括第一全连接层、elu激活函数层、第二全连接层和逐行全连接层，输入数据经所述第一全连接层映射为中间特征，所述中间特征经所述elu激活函数层进行非线性变换，得到变换后的特征，所述变换后的特征经所述第二全连接层进行特征映射，得到映射后的特征；所述映射后的特征输入所述逐行全连接层得到逐行全连接层的输出；所述逐行全连接层的输出与所述映射后的特征相加，得到所述投影关联模块的输出。
5.如权利要求1所述的方法，其特征在于，所述残差编码器单元包括2个残差编码器，分别用于对...
【专利技术属性】
技术研发人员：侯爱琴，王瑜琨，汝乐，陈竹莲，屈新纪，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。