基于预训练增强的多元时间序列预测方法及系统技术方案

本发明专利技术提出一种基于预训练增强的多元时间序列预测方法，包括：构建包括编码器和第一解码器的预训练模型；在多元时间序列中截取多个序列样本；对于每个该序列样本，将该序列样本切分为多个数据片段，随机选取部分该数据片段构建为训练集，以该训练集对该预训练模型进行训练；从完成训练的预训练模型中提取编码器，构建包括该编码器和第二解码器的预测模型，基于该多元时间序列的当前序列片段，通过该预测模型对该多元时间序列于下一时段的未来序列片段进行预测。本发明专利技术还提出一种基于预训练增强的多元时间序列预测系统，以及一种用于多元时间序列预测的数据处理装置。于多元时间序列预测的数据处理装置。于多元时间序列预测的数据处理装置。

【技术实现步骤摘要】
基于预训练增强的多元时间序列预测方法及系统


[0001]本专利技术属于信息
，具体涉及一种多元时间序列预测方法及系统。

技术介绍

[0002]从交通、能源到经济，在我们的生活中多元时间序列数据无处不在。例如，在智慧交通系统中，部署在道路网络上的传感器不断地记录着交通状况。例如，通过每个传感器的车辆总数、车速等。这些海量的数据包含多条时间序列，每一条时间序列都来自一个交通传感器。相似的例子还出现在电力系统、金融系统中，例如多个地区的电力消耗、多条股票曲线的变化。因此，多变量时间序列的预测具备重要的应用价值，能够为用户决策和资源调度提供重要参考。例如交通系统中对未来交通状况的准确预测，可以实现对城市资源的合理调度；金融系统中对股票的准确预测，可以直接产生收益。因此，研究多变量时间序列数据的内在特性，并开发用于预测的若干关键技术和相应的装置，实现对多变量时间序列的准确预测成为当前许多领域中都亟待解决的问题。
[0003]多变量序列预测的难点在于时间序列间和时间序列内的复杂模式。一方面，多元时间序列中每一条时间序列内都在时间维度上具有复杂的模式，例如多周期性。另一方面，不同的时间序列(即变量)之间存在潜在的相互依赖，因此不同的时间序列可以相互影响，从而使得演化过程更加复杂。例如在交通系统中，由于车辆必须在路网的限制下行驶，因此相近的传感器往往会有相似的时间序列。
[0004]时间序列间的依赖关系是非欧的，并且可以通过图结构合理建模。以交通流系统为例，其中每个传感器对应一个变量。图1A描绘了由部署在道路网络上的传感器20(Sensor20)和传感器301(Sensor301)生成的交通流时间序列。显然，在图1A的每一条时间序列内，都有两种重复的时间模式，即以“日”为周期的模式和以“周”为周期的模式：早晚高峰每天都会出现，而工作日和周末则表现出不同的模式。此外，在序列间，两个时间序列具有非常相似的趋势。这是因为所选传感器20和传感器301在交通网络中紧密连接。因此，准确的时间序列预测不仅取决于对每个时间序列在时间维度的模式，还取决于如何利用好时间序列间的关联关系。此外，值得注意的是，这是在观察足够长的时间序列的基础上进行的上述分析。
[0005]为了做出准确的预测，时空图神经网络(Spatial
‑
Temporal Graph Neural Networks,STGNNs)最近引起了越来越多的关注。STGNN结合了图神经网络(Graph Neural Networks，GNNs)和序列模型。前者用于处理时间序列之间的依赖关系，后者用于学习时间模式。最具代表性的两个作品是DCRNN和Graph WaveNet。DCRNN将图卷积网络集成到循环神经网络(Recurrent Neural Network，RNN)中。Graph WaveNet使用扩张卷积神经网络和扩散图卷积来实现更高的效率和性能。得益于对空间和时间模式的联合建模，STGNN实现了最先进的预测性能。此外，最近越来越多的工作正在进一步探索图结构和STGNN的联合学习，这是因为由先验知识手工定义的时间序列之间的依赖图，通常是有偏差的和不正确的，甚至在许多情况下是丢失的。简而言之，时空图神经网络在许多实际应用中的多元时间序列
预测方面取得了重大进展。
[0006]然而，没有免费的午餐。更强大的模型需要更复杂的结构。计算复杂度通常随着输入时间序列长度的增加而线性或二次增加。进一步考虑时间序列的数量(例如数百个)，STGNN很难扩展到非常长期的历史时间序列。事实上，大部分模型都是在小窗口中使用历史数据进行预测，例如用过去的十二个时间步(一小时)来预测未来的十二个时间步。这些模型都无法直接地获取长期信息，从而带来了一些直观的担忧：
[0007]首先，STGNN模型对窗口之外的上下文信息是没有感知的。考虑到时间序列通常是嘈杂的，模型可能难以区分不同上下文中的短期时间序列。例如，当在图1B所示的两个长度为12的叠加小窗口内观察数据时，可以发现不同上下文中的两个短期时间序列是相似的。因此，模型很难根据有限的历史数据对其不同的未来趋势做出准确的预测。其次，短期信息对于依赖图的建模是不可靠的，依赖图由时间序列之间的相似性(或相关性)表示。在图1C所示的小窗口内观察数据时，两个时间序列并不相似，无论是数量上还是趋势上。相反，长期的历史时间序列有利于抵抗噪声，这有利于获得更鲁棒和准确的依赖关系。尽管长期历史信息是有益的，但如上所述，STGNN直接扩展到非常长期的历史时间序列是昂贵的。此外，随着输入序列长度的增加，模型的优化也会出现问题。

技术实现思路

[0008]针对上述问题，本专利技术提出一种基于预训练增强的多元时间序列预测方法，包括：构建预训练模型；在多元时间序列中截取序列样本；将该序列样本按时序划分为在前的训练样本和在后的标签样本，将该训练样本切分为多个数据片段，随机选取部分该数据片段构建为第一数据集，以该第一数据集对该预训练模型进行训练；从完成训练的预训练模型中提取编码器，基于该编码器和时空图神经网络构建预测模型，将所有该数据片段构建为第二数据集，该第二数据集和该标签样本对该预测模型进行训练；以该多元时间序列的当前序列片段，通过该预测模型对该多元时间序列于下一时段的未来序列片段进行预测。
[0009]本专利技术所述的多元时间序列预测方法，其中以长度为L*P+L的滑动窗口在该多元时间序列中以非重叠方式截取序列样本；对于第i条序列样本，将该序列样本划分为时序在前且长度为L*P的训练样本S
i
和时序在后且长度为L的序列标签；将该训练样本切分为P个长度为L的数据片段，第j个数据片段为S
ji
，C为输入特征数，j∈[1,P]；以掩码率r随机掩盖多个该数据片段，以未被掩盖的数据片段构建为该第一数据集。
[0010]本专利技术所述的多元时间序列预测方法，其中r＝75％。
[0011]本专利技术所述的多元时间序列预测方法，其中该编码器包括一个输入嵌入层和四层Transformer编码模块，通过该编码器获得S
ji
的潜在表示H
ji
；该第一解码器包括一层Transformer解码模块和一个多层感知机，通过该第一解码器以H
ji
获得S
ji
的重构序列的重构序列该预训练模型的损失函数为
[0012]本专利技术所述的多元时间序列预测方法，其中该预测模型还包括：图结构模块；其中，通过该编码器获得该第二数据集的潜在表示H
i
，H
i
＝H
1i
||...||H
Pi
；通过该图结构模块以H
i
获得该第二数据集的离散依赖图A；将该第二数据集、H
i
和A输入该时空图神经网络，并
获得对该标签样本的预测结果
[0013]本专利技术所述的多元时间序列预测方法，其中获取该多元时间序列于当前时段的长度为L*P的序列片段，通过该预测模型对该多元时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练增强的多元时间序列预测方法，其特征在于，包括：构建预训练模型；在多元时间序列中截取序列样本；将该序列样本按时序划分为在前的训练样本和在后的标签样本，将该训练样本切分为多个数据片段，随机选取部分该数据片段构建为第一数据集，以该第一数据集对该预训练模型进行训练；从完成训练的预训练模型中提取编码器，基于该编码器和时空图神经网络构建预测模型，将所有该数据片段构建为第二数据集，该第二数据集和该标签样本对该预测模型进行训练；以该多元时间序列的当前序列片段，通过该预测模型对该多元时间序列于下一时段的未来序列片段进行预测。2.如权利要求1所述的多元时间序列预测方法，其特征在于，以长度为L*P+L的滑动窗口在该多元时间序列中以非重叠方式截取序列样本；对于第i条序列样本，将该序列样本划分为时序在前且长度为L*P的训练样本S
i
和时序在后且长度为L的序列标签；将该训练样本切分为P个长度为L的数据片段，第j个数据片段为S
ji
，C为输入特征数，j∈[1,P]；以掩码率r随机掩盖多个该数据片段，以未被掩盖的数据片段构建为该第一数据集。3.如权利要求2所述的多元时间序列预测方法，其特征在于，r＝75％。4.如权利要求2所述的多元时间序列预测方法，其特征在于，该编码器包括一个输入嵌入层和四层Transformer编码模块，通过该编码器获得S
ji
的潜在表示H
ji
；该第一解码器包括一层Transformer解码模块和一个多层感知机，通过该第一解码器以H
ji
获得S
ji
的重构序列该预训练模型的损失函数为5.如权利要求4所述的多元时间序列预测方法，其特征在于，该预测模型还包括：图结构模块；其中，通过该编码器获得该第二数据集的潜在表示H
i
，H
i
＝H
1i
||...||H
Pi
；通过该图结构模块以H
i<...

【专利技术属性】
技术研发人员：徐勇军，邵泽志，王飞，张钊，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：