【技术实现步骤摘要】
本专利技术涉及多维时序预测，尤其涉及一种基于深度学习的多维时序预测系统及方法。
技术介绍
1、近年来，在工业能源管理领域，利用深度学习技术分析多变量时间序列(mts)数据的应用逐渐增多。mts数据集由多个变量的测量序列组成，通常由传感器以统一的时间间隔记录。在过去的几十年里，研究人员对mts表现出浓厚的兴趣，并将其广泛应用于一些对时间数据集具有重要价值的工业系统，例如智能交通系统、智能运维系统和空调调节系统。mts在不同的研究目标下发挥作用，如分类、预测和异常检测。
2、mts预测是通过分析历史动态数据来预测关键变量未来值的重要工具。虽然在利用单序列历史特征方面与单变量时间序列预测有相似之处，但稳健的mts预测需要考虑不同时间序列之间的额外相关性和经验相互依赖性。鉴于观测变量可能相互关联并呈现非线性模式，传统方法如向量自回归(var)模型和高斯过程(gp)模型可能难以捕捉这些模式。此外，在处理较大的数据集时，这些统计模型的计算成本会变得非常昂贵和复杂，从而增加了过度拟合的风险。
3、通过从数据中提取周期性和维度潜在特征，基于深度学习的方法在解决mts预测问题方面具有巨大潜力。例如，基于lstm的模型能够捕捉长期和短期依赖关系，在自然语言处理(nlp)任务中取得了最先进的成果。而基于cnn的模型则能够利用卷积层提取空间特征，在计算机视觉(cv)任务中获得了成功。然而，复杂的深层架构模型，如inceptiontime和resnet，可能会面临梯度消失和梯度爆炸问题，或者在学习长期模式时受到卷积核的限制，甚至可
4、相比之下，transformer及其变体则通过多头注意机制来学习序列中的依赖关系，在无监督预训练方面在mts预测中取得了显著成果。虽然transformer模型打破了基于lstm的方法在时间序列数据复杂动态建模方面的垄断地位，但在某些情况下，它们仍可能存在一些局限性。由于其复杂的架构和庞大的参数数量，transformer模型可能难以仅凭有限的训练数据学习到模式，并且由于计算成本巨大，可能难以在资源有限的情况下进行部署。
5、因此，有必要提供一种新的基于深度学习的多维时序预测系统及方法解决上述技术问题。
技术实现思路
1、为解决数据预测中transformer模型在复杂的架构和庞大的参数数量下，transformer模型可能难以仅凭有限的训练数据学习到模式，并且由于计算成本巨大，可能难以在资源有限的情况下进行部署的技术问题，本专利技术提供一种基于深度学习的多维时序预测系统及方法。
2、本专利技术第一方面提供的基于深度学习的多维时序预测系统包括数据获取模块，用于获取多维时序数据，多维时序数据包括自定义时间序列数据及其周期性特征数据，通过自定义时间序列数据使卷积核沿时间序列的方向滑动，沿时间维度将数据划分为等长的多段时间线；
3、多头跳跃循环网络模型训练模块，多头跳跃循环网络模型训练模块包括一维卷积层、多头跳跃循环模块、多头跳跃卷积模块和融合特征模块，一维卷积层用于采用一维卷积核来捕获不同序列之间的相互关联特征，随后将这些特征按照不同的时间间隔输入多头跳跃循环模块，多头跳跃循环模块用于将多维时间序列分割成不同时间间隔的多个时间帧，并通过一维卷积层从多个时间帧中提取出多个周期性特征，多头跳跃卷积模块用于将周期性特征数据作为输入，获取周期性特征维度，融合特征模块利用神经网络中的密集层将周期性特征沿第二个周期维度串联，作为密集层的输入，其中密集层输出一个大小为n×d的矩阵，其中n等于时间序列数据的周期性特征，d等于时间序列数据的周期性特征维度；
4、预测验证模块，利用自回归层将原始时间序列数据作为输入，用于验证密集层的输出，并将密集层与自回归层的输出进行融合，保留多维时序数据的共同特征数据，将共同特征数据作为预测目标时段内的预测结果进行输出。
5、进一步地，还包括预警模块，用于在预测结果超出预设的阈值时发送预警信息，并将异常偏差最大的时序实时数据进行记录。
6、进一步地，所述多头跳跃循环模块包括门控循环单元模块，用于接收来自一维卷积层的输入，其形状为n×t的矩阵，并返回形状为n×h的输出，其中h为隐层大小；
7、多头跳跃循环模块，用于捕捉数据周期性，使用跳跃连接方法来连接当前数据的隐藏单元和相邻周期同一阶段的隐藏单元。
8、进一步地，所述多头跳跃卷积模块包括多头跳跃卷积网络模块，多头跳跃卷积网络模块与一维卷积层平行，由nsc个具有不同跳跃步数的跳跃卷积模块组成，分别表示为
9、进一步地，每个所述跳跃卷积模块都包含跳跃卷积层和门控单元层，所述跳跃卷积层通过对特征因素数据进行二维卷积运算进行特征提取，其中卷积核的大小设定为c×d，第一维度c的大小可自由设定，而第二维度则与特征因素数据特征维度相同，整合全部特征信息，所述门控单元层表示隐藏大小为它接受来自跳跃卷积层的输入，特征大小为并返回形状为的输出。
10、本专利技术第二方面提供的一种基于深度学习的多维时序预测方法，包括如下步骤：
11、s1、获取多维时序数据，将时间序列数据定义为y＝{y1,y2,...,yt}，其中yt∈rn，n是数据的特征维度，给定一个连续的作为输入，预测yi+j+h，其中h为时间戳i+j与预测时间戳之间的间隔；
12、s2、基于多头跳跃循环网络模型训练模块构建多头跳跃卷积和跳跃循环网络模型，利用归一化数据对原始多维时序数据进行预处理，一维卷积层将跳跃步数记作s，沿时间维度将数据划分为等长s的段，输入数据被重塑为n×m×s×d的矩阵，交换第二维和第三维，使其变成n×s×m×d，最后，大小为ck×d的内核作用于最后两个维度，将即内核的数量记为输出的形状为将最后一个维度相加，得到这一层的最终输出大小为
13、s3、由门控单元层接受来自一维卷积层的输入，批量大小为n，特征大小为并返回形状为的输出，在多头跳跃卷积模块中以不同的跳跃步数构建多个跳跃卷积模块，最后将它们的输出沿最后一个维度串联起来，得到形状为为方便起见，规定
14、s4、使用整流线性单元函数作为隐藏更新激活函数，在时间t时，让xt表示输入向量，ht-1表示之前的隐藏状态，为了处理时间序列输入数据，对gru进行级联，该层的终端输出为表示时间戳t的隐藏状态，假设隐层大小为h，则门控循环单元模块接收来自一维卷积层的输入，其形状为n×t，并返回形状为n×h的输出；
15、s5、门控循环单元模块使用跳跃连接方法来连接当前数据的隐藏单元和相邻周期同一阶段的隐藏单元，让s表示跳过的隐藏单元的数量，对gru的更新过程稍加修改，就得到了门控循环单元更新过程，从时间戳t-s+1到t的s隐藏状态，将这些状态分别表示为假设隐层大小为hsr，将所有这些s向量连接起来，形成一个大小为s×hsr的向量，设计多个具有不同s值的门控单元层，并分本文档来自技高网...
【技术保护点】
1.一种基于深度学习的多维时序预测系统，其特征在于，包括数据获取模块，用于获取多维时序数据，多维时序数据包括自定义时间序列数据及其周期性特征数据，通过自定义时间序列数据使卷积核沿时间序列的方向滑动，沿时间维度将数据划分为等长的多段时间线；
2.根据权利要求1所述的基于深度学习的多维时序预测系统，其特征在于，还包括预警模块，用于在预测结果超出预设的阈值时发送预警信息，并将异常偏差最大的时序实时数据进行记录。
3.根据权利要求2所述的基于深度学习的多维时序预测系统，其特征在于，所述多头跳跃循环模块包括门控循环单元模块，用于接收来自一维卷积层的输入，其形状为N×T的矩阵，并返回形状为N×H的输出，其中H为隐层大小；
4.根据权利要求3所述的基于深度学习的多维时序预测系统，其特征在于，所述多头跳跃卷积模块包括多头跳跃卷积网络模块，多头跳跃卷积网络模块与一维卷积层平行，由Nsc个具有不同跳跃步数的跳跃卷积模块组成，分别表示为
5.根据权利要求4所述的基于深度学习的多维时序预测系统，其特征在于，每个所述跳跃卷积模块都包含跳跃卷积层和门控单元层，
6.一种基于深度学习的多维时序预测方法，其特征在于，包括如下步骤：
7.根据权利要求6所述的基于深度学习的多维时序预测方法，其特征在于，所述S4步骤中时间t处的重复单位的隐藏状态计算如下：zt＝σ(W(z)xt+U(z)ht-1+bz)，其中W和U是权重矩阵，σ是sigmoid激活函数，b代表偏置项；
8.根据权利要求7所述的基于深度学习的多维时序预测方法，其特征在于，所述门控循环单元更新过程如下：zt＝σ(W(z)}xt+U(z)h{t-s}+bz)；
...【技术特征摘要】
1.一种基于深度学习的多维时序预测系统，其特征在于，包括数据获取模块，用于获取多维时序数据，多维时序数据包括自定义时间序列数据及其周期性特征数据，通过自定义时间序列数据使卷积核沿时间序列的方向滑动，沿时间维度将数据划分为等长的多段时间线；
2.根据权利要求1所述的基于深度学习的多维时序预测系统，其特征在于，还包括预警模块，用于在预测结果超出预设的阈值时发送预警信息，并将异常偏差最大的时序实时数据进行记录。
3.根据权利要求2所述的基于深度学习的多维时序预测系统，其特征在于，所述多头跳跃循环模块包括门控循环单元模块，用于接收来自一维卷积层的输入，其形状为n×t的矩阵，并返回形状为n×h的输出，其中h为隐层大小；
4.根据权利要求3所述的基于深度学习的多维时序预测系统，其特征在于，所述多头跳跃卷积模块包括多头跳跃卷积网络模块，多头跳跃卷积网络模块与一维卷积层平行，由nsc个具有不同跳跃步数的跳跃卷积模块组成，分别表示为
5...
【专利技术属性】
技术研发人员：宋海涛，王资凯，谭峰，李佳佳，樊春海，于龙轩，
申请(专利权)人：上海人工智能研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。