【技术实现步骤摘要】
本专利技术涉及数据预测领域，具体来说，涉及数据预测领域中的多元时间序列数据预测技术，更具体地说，涉及基于深度学习预测多元时间序列数据的技术，即一种面向数据缺失的多元时间序列数据预测模型训练方法。
技术介绍
1、多元时间序列数据预测任务广泛的存在与人们的生活中且被应用在各个不同的领域，比如交通、能源、经济、环境等多个领域，准确的预测能力能为决策制定提供有价值的帮助和参考。多元时间序列数据是有多条随时间变化的序列所构成的数据形式，每个时间序列都是在不同时间点上对同一变量的监测值，例如，一个表示某城市气象变化的多元时间序列数据，其中，一个时间序列数据代表该城市温度随时间的变化，一个时间序列数据代表该城市湿度随时间的变化，一个时间序列数据代表该城市风速随时间的变化等(多元表示变量数)。由于多元时间序列数据存在非平稳性和空间关联性等特点，导致数据分析和建模的难度较大。因此，多元时间序列数据预测任务一直是学术界和工业界的重要话题。
2、主流的多元时间序列数据预测技术可以分为统计学方法、机器学习方法以及深度学习方法。统计学方法通过将先验知识将多元时间序列数据建模为数学公式以实现多元时间序列数据预测。但是统计学方法主要适用于拥有规律性变化的平稳多元时间序列数据，在面对非平稳多元时间序列数据时难以通过先验知识充分分析其数据变换趋势，进而无法实现对非平稳多元时间序列数据预测。
3、机器学习方法，如支持向量机与决策树等机器学习算法，通常采用非线性建模的方式提高模型建模时间序列数据历史观测和未来变化的能力，进而实现多元时间序列数
4、相较于上述两种方法，深度学习方法由于具备优秀的非线性建模以及空间关联性的能力而得到了广泛的研究。作为经典的深度学习方法，递归神经网络和卷积神经网络分别采用序列建模和卷积层建模实现时间序列上下文信息的挖掘以及空间关联系的分析。除此之外，时空图神经网络使用图卷积与序列模型分别实现了时间与空间信息的充分挖掘，这使得时空图神经网络在多元时间序列数据预测任务中被广泛研究。
5、虽然深度学习方法凭借优秀的非线性建模能力在多元时间序列数据预测任务中取得了显著的进展，但是深度学习采用的数据集以及建模的场景都存在一个特点：数据集中的多元时间序列数据是较为完整的。换句话说，在这些建模的场景下，数据缺失较多的多元时间序列数据通常被人工剔除了。然而，在实际场景中，由于组件故障、电池中断等原因导致的传感器故障，使得传感器在某个时间段可能无法正常工作，进而导致其收集到的数据集通常是不完整的，即大多数情况下多元时间序列数据中存在缺失。若采用通过完整数据集建模得到的多元时间序列数据预测模型对缺失数据的多元时间序列数据进行预测，此时多元时间序列数据预测模型难以对缺失数据的多元时间序列数据进行有效的挖掘数据信息并取得准确的预测结果。
6、综上所述，数据缺失广泛存在于多元时间序列数据预测模型建模的真实场景中，而现有的多元时间序列数据预测模型通常是基于完整的数据集进行建模的，其无法对缺失数据的多元时间序列数据进行准确的预测。
技术实现思路
1、因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种面向数据缺失的多元时间序列数据预测模型训练方法、一种多元时间序列数据预测方法以及一种多元时间序列数据预测系统。
2、本专利技术的目的是通过以下技术方案实现的。
3、根据本专利技术的第一方面，提供一种面向数据缺失的多元时间序列数据预测模型训练方法，所述多元时间序列数据预测模型用于根据一个时间段内多个节点的多元时间序列数据预测该时间段的未来时间段的多个节点的多元时间序列数据，所述方法包括：s1、获取多个节点在相同时间窗口的多元时间序列数据以构建训练集，所述训练集包括多个特征数据及其对应的标签，所述每个特征数据包括预设时间段内所有节点的多元时间序列数据，所述每个特征数据对应的标签为预设时间段的下一个时间段内所有节点的多元时间序列数据，其中，所述预设时间段包括多个时刻，部分节点的多元时间序列数据有缺失；s2、构建初始模型，所述初始模型包括归纳注意力模块、自适应图卷积模块和解码器，其中，所述归纳注意力模块用于对特征数据进行补全，所述自适应图卷积模块用于对补全后的特征数据进行特征提取，所述解码器用于对特征提取后的特征数据进行预测；s3、采用所述训练集对所述初始模型进行多轮迭代训练直至收敛得到多元时间序列数据预测模型，其中，在每轮迭代过程中计算初始模型输出的特征数据的预测结果与其对应的标签之间的预测损失更新初始模型参数。
4、在本专利技术的一些实施例中，所述初始模型包括多层由归纳注意力模块和自适应图卷积模块组成的神经元构建的归纳图注意力递归网络层，每层归纳图注意力递归网络层包括预设个数的神经元。
5、在本专利技术的一些实施例中，所述每个特征数据包括多个特征矩阵，每个特征矩阵对应于预设时间段内一个时刻下所有节点在该时刻的多元数据，所述归纳注意力模块被配置为采用如下方式对每一个特征矩阵进行补全：
6、计算表征各个节点之间空间关联性的空间矩阵：
7、aia＝(in+softmax(ea1·ea2))
8、其中，aia表示空间矩阵，in表示对角矩阵，in∈rn*n，n表示节点数量，ea1表示第一嵌入矩阵，ea1∈rn*d，d表示预设数值，ea2表示第二嵌入矩阵，ea2∈rd*n，softmax(·)表示激活函数；
9、基于所述空间矩阵，计算所述特征矩阵中所有缺失数据的节点与其存在空间关联的每一个节点的空间相似度：
10、eij＝fc(whfj)
11、其中，eij表示节点i与节点j之间的空间相似度，w表示归纳注意力权重，hfj表示节点j的特征，fc(·)表示全连接层；
12、基于所有缺失数据的节点与其存在空间关联的每一个节点的空间相似度，对所述特征矩阵中每一个缺失数据的节点进行补全：
13、
14、其中，
15、αij＝softmax(leakyrelu(eij))
16、其中，h′fi表示补全后的节点i的特征，relu(·)表示激活函数，ni表示与节点i存在空间关联的节点的数量，αij表示归一化后的节点i与节点j之间的空间相似度，leakyrelu(·)表示激活函数。
17、在本专利技术的一些实施例中，所述自适应图卷积模块被配置为按照如下方式对每一个补全后的特征矩阵进行特征提取：
18、根据预先构建的表征各个节点连接关系的邻接矩阵计算预定义图：
19、
20、其中，apre表示预定义图，in表示对角矩阵，a表示邻接矩阵，d为a的度矩阵；
21、按照如下方式构建自适应图：
22、
23、其中，aadap表示自适应图，ea3表示第三本文档来自技高网...
【技术保护点】
1.一种面向数据缺失的多元时间序列数据预测模型训练方法，其特征在于，所述多元时间序列数据预测模型用于根据一个时间段内多个节点的多元时间序列数据预测该时间段的未来时间段的多个节点的多元时间序列数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始模型包括多层由归纳注意力模块和自适应图卷积模块组成的神经元构建的归纳图注意力递归网络层，每层归纳图注意力递归网络层包括预设个数的神经元。
3.根据权利要求2所述的方法，其特征在于，所述每个特征数据包括多个特征矩阵，每个特征矩阵对应于预设时间段内一个时刻下所有节点在该时刻的多元数据，所述归纳注意力模块被配置为采用如下方式对每一个特征矩阵进行补全：
4.根据权利要求3所述的方法，其特征在于，所述自适应图卷积模块被配置为按照如下方式对每一个补全后的特征矩阵进行特征提取：
5.根据权利要求4所述的方法，其特征在于，所述预设个数为特征数据中特征矩阵的数量。
6.根据权利要求5所述的方法，其特征在于，所述解码器为多层感知机。
7.一种多元时间序列数据预测方法，其特
8.一种多元时间序列数据预测系统，其特征在于，所述系统包括：
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至7任一所述方法的步骤。
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种面向数据缺失的多元时间序列数据预测模型训练方法，其特征在于，所述多元时间序列数据预测模型用于根据一个时间段内多个节点的多元时间序列数据预测该时间段的未来时间段的多个节点的多元时间序列数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始模型包括多层由归纳注意力模块和自适应图卷积模块组成的神经元构建的归纳图注意力递归网络层，每层归纳图注意力递归网络层包括预设个数的神经元。
3.根据权利要求2所述的方法，其特征在于，所述每个特征数据包括多个特征矩阵，每个特征矩阵对应于预设时间段内一个时刻下所有节点在该时刻的多元数据，所述归纳注意力模块被配置为采用如下方式对每一个特征矩阵进行补全：
【专利技术属性】
技术研发人员：余澄庆，王飞，徐勇军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。