一种基于图神经网络的状态空间概率性多时间序列预测方法技术

本发明专利技术公开了一种基于图神经网络的状态空间概率性多时间序列预测方法，包括：(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；(2)根据图神经网络和多层感知机构建用于生成隐状态的先验分布和时间序列的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态的近似后验分布的推断网络；(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得隐状态的先验分布，再根据该隐状态的先验分布计算获得时间序列观测估计值。

A probabilistic multi time series prediction method of state space based on graph neural network

【技术实现步骤摘要】
一种基于图神经网络的状态空间概率性多时间序列预测方法
本专利技术涉及时间序列预测领域，具体涉及一种基于图神经网络的状态空间概率性多时间序列预测方法。
技术介绍
时间序列数据广泛存在于商业、金融、智慧城市、医疗、环境科学等领域，时间序列预测技术在数据分析、智能决策和异常检测等应用中能发挥重要作用。在较多场景中，多条同质且相关的时间序列被同时观测和记录，如相关商品的销量、相关股票的价格、城市道路的流量、脑电图、相邻地区的空气质量等。针对这样的多时间序列，一种简单的预测方法是使用以ARIMA为代表的经典统计模型对每条时间序列进行独立的建模和预测。这种方法虽然具备参数求解过程简单、有成熟软件工具库可供使用、可为预测提供不确定性估计等优点，但由于其对每条时间序列独立建模，无法捕获和利用多条时间序列间的交互影响关系。一种可建模多时间序列相关性的方法是将多条相关的时间序列联合视为一条多变量时间序列，使用以VAR为代表的经典多变量时间序列模型进行预测。然而，VAR仅能建模线性的、延迟较短的影响关系，但现实中多时间序列间的影响关系可能是非线性且长延迟的。另一种可建模多时间序列相关性的方法是使用神经网络对多时间序列进行联合预测。这种方法将时间序列预测建模为一个有监督学习问题，将多变量时间序列处理为以历史观测为输入、以未来观测为输出的训练样本，基于卷积神经网络(CNN)、全连接神经网络(FCN)或递归神经网络(RNN)构建输入至输出的映射，采用随机梯度下降算法学习神经网络中的参数，使用训练后的模型进行预测。此方法的优点是可利用神经网络强有效的拟合能力建模多条时间序列间的非线性相关性，但缺点是其黑盒式地建模输入输出映射，容易学习到有助于提升预测精度的虚假统计相关性，致使泛化性能不佳，且难以为预测结果提供有意义的不确定性估计。
技术实现思路
本专利技术的目的是提供一种基于图神经网络的状态空间概率性多时间序列预测方法，利用图结构显式表示多时间序列间的关系，使用隐状态建模不确定性，以预测时间序列。本专利技术的技术方案为：一种基于图神经网络的状态空间概率性多时间序列预测方法，包括以下步骤：(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；(2)根据图神经网络和多层感知机构建用于生成隐状态的先验分布和时间序列的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态的近似后验分布的推断网络；(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得隐状态的先验分布，再根据该隐状态的先验分布计算获得时间序列观测估计值。本专利技术显式地建模了多时间序列产生过程中的交互影响和不确定性，可对协同演化的多时间序列进行联合预测，支持为预测结果提供不确定性估计。与现有的方法相比，其优点在于：1)使用图结构显式表示多条时间序列间的潜在影响关系，利用图神经网络在状态空间建模各时间序列之间的交互影响，便于向模型中注入有无关系、关系强弱、关系类型等先验知识，避免了全黑盒式模型的完全相关假设，有助于提升模型的泛化能力和降低模型所需的训练数据量。2)使用隐状态建模时间序列演化过程的不确定性，支持建模状态转移有随机性的时间序列；多条时间序列的隐状态通过图神经网络共同演化，有助于捕获噪声在时间序列间的传播；以从模型中采样的方式输出对未来的联合预测，显式地考虑了预测结果的不确定性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总流程图；图2是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总体框架；图3是实施例提供的生成模型的结构示意图；图4是实施例提供的推断网络的结构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总流程图。图2是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总体框架。图2中，图中Zt表示各节点在时刻t的隐状态，Xt表示各节点在时刻t的观测值，实线箭头表示生成模型的计算，虚线箭头表示推断网络的计算。参见图1和图2，实施例提供的概率性多时间序列预测方法包括以下步骤：步骤1，对于给定的n条同质且相关的时间序列，以每条时间序列为节点，构建图结构以表示时间序列潜在交互影响关系。每条时间序列对应一个节点，将其编号为1,…,n。图结构可用一个二元组表示其中V＝{1,…,n}是节点的集合，E是边的集合，(i,j)∈E表示节点i和节点j之间有边，即对应的时间序列可能会相互影响。这样的图结构可根据多时间序列背后的动态系统内部结构来构建，对于不同的场景可能方式不一。例如，对于商品销量时间序列，可根据两种商品是否经常被一起购买来确定是否将它们在图中连接；对于路网流量时间序列，可根据两条道路的距离是否低于特定阈值来确定是否将它们在图中连接。给定图结构后进一步计算与之对应的邻接矩阵A，当且仅当(i,j)∈E或i＝j时Ai,j＝1，否则Ai,j＝0；计算度数矩阵D，其是一个对角矩阵，对角元素即节点i的度数。步骤2，对时间序列进行缺失值补全和归一化处理，使用长度为T的滑动时间窗口将其切分为子序列作为训练样本，得到共包含N个样本的训练数据集i表示样本的索引，取值为1到N，1:T表示时间从1到T。当时间序列中存在缺失值时，使用时间序列中前一非缺失时刻的值填补缺失值。对时间序列中所有值进行min-max归一化处理，使处理后每一个数值都归一化到[-1，1]的范围内，转换公式如下：其中，Xold为原始时间序列中的数值，Xmin为时间序列中的最小值，Xmax为时间序列中的最大值，Xnew为归一化之后的数值。步骤3，根据图神经网络和多层感知机构建用于生成时间序列的生成模型，其中，图神经网络用于构建参数化的状态转移分布pθ(Zt|Zt-1)，多层感知机用于构建参数化的状态观测分布pθ(Xt|Zt)，θ表示生成模型的参数集合；状态转移分布pθ(Zt|Zt-1)被指定为参数化的多元独立正态分布(即协方差矩阵为对角矩阵)，其均值和方差(即协方差矩阵的对角元素)由以Zt-1为输入的图神经网络(GNN)的输出，即其中图神经网络的实现方式如下：GNN(Z)：＝tanh(D-1AZW)(2)其中符本文档来自技高网...

【技术保护点】
1.一种基于图神经网络的状态空间概率性多时间序列预测方法，包括以下步骤：/n(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；/n(2)根据图神经网络和多层感知机构建用于生成隐状态先验分布和时间序列观测的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态近似后验分布的推断网络；/n(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；/n(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得未来时刻隐状态的先验分布，再采样获得对未来时刻时间序列观测的估计值。/n

【技术特征摘要】
1.一种基于图神经网络的状态空间概率性多时间序列预测方法，包括以下步骤：
(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；
(2)根据图神经网络和多层感知机构建用于生成隐状态先验分布和时间序列观测的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态近似后验分布的推断网络；
(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；
(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得未来时刻隐状态的先验分布，再采样获得对未来时刻时间序列观测的估计值。


2.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，步骤(1)中，当时间序列中存在缺失值时，使用时间序列中前一非缺失时刻的值填补缺失值；
对时间序列中所有值进行min-max归一化处理，使处理后每一个数值都归一化到[-1，1]的范围内，转换公式如下：



其中，Xold为原始时间序列中的数值，Xmin为时间序列中的最小值，Xmax为时间序列中的最大值，Xnew为归一化之后的数值。


3.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，步骤(1)中，对于给定的n条同质且相关的时间序列，以每条时间序列为节点，构建图结构以表示时间序列潜在交互影响关系，图结构用一个二元组表示其中V＝{1,…,n}是节点的集合，E是边的集合，(i,j)∈E表示节点i和节点j之间有边，即对应的时间序列可能会相互影响；
给定图结构后进一步计算与之对应的邻接矩阵A，当且仅当(i,j)∈E或i＝j时Ai,j＝1，否则Ai,j＝0；计算度数矩阵D，其是一个对角矩阵，对角元素即节点i的度数。


4.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，生成模型中，图神经网络用于构建参数化的状态转移分布pθ(Zt|Zt-1)，多层感知机用于构建参数化的状态观测分布pθ(Xt|Zt)，θ表示生成模型的参数集合；
状态转移分布pθ(Zt|Zt-1)被指定为参数化的多元正态分...

【专利技术属性】
技术研发人员：陈岭，杨帆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33