一种基于因果Transformer的网络化数据预测方法技术

本发明专利技术公开一种基于因果Transformer的网络化数据预测方法，适用于预测复杂工程系统的耦合时间序列，本发明专利技术首先采用基于因果性指标的因果推理方法，以不同位置测速仪检测的车辆速度时间序列数据为基础，应用最优因果熵算法和互信息估计器，构建因果网络并估计因果熵值，再利用测速仪的经纬度坐标构造距离网络。接着，该发明专利技术将因果网络、距离网络以及时间序列输入Transformer卷积时空块。其中，每个时空块由一个残差Transformer模块和一个可以总结因果网络和距离网络信息的残差多图卷积网络模块组成，用于提取时间和空间维度信息。最后，提取的信息可以通过输出层进行解码可以获得预测结果。该方法具有良好的预测效果，可以为复杂工程系统提供有效的数据支撑。复杂工程系统提供有效的数据支撑。复杂工程系统提供有效的数据支撑。

【技术实现步骤摘要】
一种基于因果Transformer的网络化数据预测方法


[0001]本专利技术涉及一种基于因果Transformer的网络化数据预测方法，特别是预测复杂工程系统的耦合时间序列。

技术介绍

[0002]复杂工程系统的时间序列预测在各种现实世界的场景中起着至关重要的作用，如交通预测、电力支配、供应链管理和金融投资。如果事件或指标的未来演变可以被准确估计，它可以帮助人们做出重要决策。例如，如果提前预测到有严重的交通堵塞，交通管理部门就能更合理地引导车辆，提高公路网的运行效率。
[0003]在实际问题中，复杂系统往往表现为多变量动态演化过程，具有信息的不完备与不确定性等，因此难以建立起准确的解析形式的数学模型，常常依赖于通过观测所获得的时间序列进行分析。统计学领域中，分析由这些复杂系统生成的时间序列是一种重要的动态数据处理方法。当检测单元较少时，利用经典统计学方法预测耦合时间序列是可行的。移动平均自回归(ARIMA)及其变体是时间序列分析经典方法之一。然而，这种类型的模型受到时间序列的平稳假设的限制，未能将时空相关性考虑在内。因此，这些方法对高维时间序列数据的处理具有限制。随着机器学习在其他领域的应用，相关模型也逐渐被应用于复杂工程系统耦合时间序列的预测，这些模型可以实现更高的预测准确性和更复杂的数据建模，如K
‑
近邻算法(KNN)、支持向量机(SVM)和神经网络(NN)。其中，神经网络方法已被广泛成功地应用于各种耦合时间序列预测任务。相关工作已经取得了重大进展，例如深度置信网络(DBN)、堆叠式自编码器(SAE)等。但这些网络很难从数据中联合提取空间和时间特征，它们的能力受到了严重的限制。为了充分利用空间特征，一些模型使用卷积神经网络(CNN)来捕捉网络中的相邻关系，同时在时间轴上采用了循环神经网络(RNN)方法。例如，用于短期交通预测的特征级融合架构CLTFP，就是通过结合长短期记忆(LSTM)网络和一维CNN提出的。之后，提出的FC
‑
LSTM模型加入了窥探机制，让原先输入的时间序列向量换成矩阵，以表示空间上的连接关系，然而，所应用的普通卷积操作限制了该模型只能处理诸如图像、视频的网格结构而不是一般的领域。同时，用于序列学习的递归网络需要迭代训练，这就引入了按步骤累积的错误。为了更好地捕捉非欧式空间网络的信息，时空预测方法引入了图神经网络(GNN)。例如基于图卷积神经网络(GCN)的STGCN，将空间特征提取和时间特征提取分开封装为S模块与T模块，每个卷积块包含两个门控顺序卷积层和一个空间图卷积层，通过串联ST块增加模型深度，用于时空网络速度预测。在此基础上，人们提出了各种网络时空预测模型，基于时空特征提取的网络时空预测方法已成为主流方法。如使用注意力机制来捕捉时间和空间的动态的ASTGCN模型；将修改过的GAT与LSTM相结合的GaAN模型；使用因果卷积、门控机制已经残差块进行时间序列数据处理的GraphWaveNet模型；使用多注意机制来提取交通流的时空信息的GMAN模型。基于时空特征提取的模型在预测方面取得了突出的成果。然而，仍有一些问题有待解决。现有模型的主要缺点是，空间特征的提取大多集中在对相邻节点信息的提取上，这就造成了全局特征提取的不足。同时，在时间序列信息的提取方面，
RNN或CNN方法无法从数据中提取长期依赖性，导致目前的交通流预测模型的长期预测性能较差。
[0004]因此，本专利技术中提出了基于因果的时空网络模型来进行复杂系统耦合时间序列的预测。根据上述分析，单纯的距离网络不能很好地提取网络的全局特征。所以，可以基于多维数据构建因果网络。在因果网络中，每个节点的父节点，即影响该节点产生变化的节点，将是该节点的一阶邻居。由此，可以通过GCN提取因果关系特征。将因果关系特征结合时间维度以及距离网络的特征，本专利技术可以有效地获取复杂工程系统耦合时间序列的时空信息并获得较好的预测效果。

技术实现思路

[0005]技术问题：本专利技术的目的是提供一种基于因果Transformer的网络化数据预测方法。以交通流为例，本专利技术在观测到不同位置测速仪检测的车辆速度时间序列数据的基础上，采用基于因果关系熵的因果推理方法初步构建因果网络，并通过互信息估计方法计算因果熵，得到网络边权重。之后利用测速仪的经纬度坐标构造距离网络。网络构建完成后，本专利技术将因果网络、距离网络以及时间序列输入Transformer卷积时空块提取特征后解码输出得到预测结果。其中，每个时空块包含一个残差Transformer时间模块和一个可以总结因果网络和距离网络信息的残差空间卷积模块。本专利技术提取时空数据的多维信息用于预测，所提出的模型具有良好的预测效果。
[0006]技术方案：为实现上述目的，本专利技术涉及一种基于因果Transformer的网络化数据预测方法采用的技术方案为：所述方法包括以下步骤：
[0007]步骤1：网络构建；
[0008]步骤2：建立时空Transformer卷积模型。
[0009]其中网络构建包括因果网络的构建以及距离网络的构建。
[0010]步骤11：因果网络构建阶段，该阶段包括两步：
[0011](1)在观测到的时间序列数据上采用基于因果关系熵的因果推理方法构建因果网络，对于事件X，与之相关的不确定性和复杂性可以通过香农熵来量化，事件X的熵H(X)的计算公式为：
[0012][0013]其中，p(x)是一个事件X的采取特定值x的概率。对于两个事件X和Y信息之间的关系，可以通过联合熵H(X，Y)和条件熵H(X|Y)，H(Y|X)表征，其定义为：
[0014][0015][0016][0017]其中，p(x，y)是X＝x，Y＝y的联合概率，p(x|y)，p(y|x)是X＝x，Y＝y的条件概率。而事件X的信息可以细分为只属于X的信息以及X和Y的共享信息，互信息I(X；Y)可以描述事件X和Y之间的共享信息，当两者关系越密切时，互信息越大，互信息I(X；Y)的定义为：
[0018]I(X；Y)≡H(X)
‑
H(X|Y)。
[0019]此时，若存在第三个事件Z作为发生条件时，事件X，Y的条件互信息I(X；Y|Z)为：
[0020]I(X；Y|Z)≡H(Y|Z)
‑
H(Y|X，Z)。
[0021]然而互信息只能反映事件之间的关系，为了衡量两个事件之间信息流的方向性，可以引入转移熵T
X
→
Y
，转移熵T
X
→
Y
的定义为：
[0022]T
X
→
Y
≡I(X
(t)
；Y
(t+τ)
|Y
(t)
)，
[0023]其中，τ为延迟时间。由于复杂工程系统不可避免地包含两个以上的节点，如果没有适当的条件，转移熵就不能区分网络中的直接和间接因果关系。而因果关系熵C
Y
→
X|Z
可以克服转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于因果Transformer的网络化数据预测方法,其特征在于，所述方法包括以下步骤：步骤1：网络构建；步骤2：建立时空Transformer卷积模型。2.根据权利要求1所述的基于因果Transformer的网络化数据预测方法,其特征在于，步骤1：网络构建，具体如下：步骤11：因果网络的构建；步骤12：距离网络的构建。3.根据权利要求2所述的基于因果Transformer的网络化数据预测方法,其特征在于，步骤11：因果网络构建网络构建，该阶段包括两步：(1)在观测到的时间序列数据上采用基于因果关系熵的因果推理方法构建因果网络，对于事件X，与之相关的不确定性和复杂性可以通过香农熵来量化，事件X的熵H(X)的计算公式为：其中，p(x)是一个事件X的采取特定值x的概率，对于两个事件X和Y信息之间的关系，通过联合熵H(X,Y)和条件熵H(X|Y),H(Y|X)表征，其定义为：过联合熵H(X,Y)和条件熵H(X|Y),H(Y|X)表征，其定义为：过联合熵H(X,Y)和条件熵H(X|Y),H(Y|X)表征，其定义为：其中，p(x,y)是X＝x,Y＝y的联合概率，p(x|y),p(y|x)是X＝x,Y＝y的条件概率，而事件X的信息细分为只属于X的信息以及X和Y的共享信息，互信息I(X；Y)描述事件X和Y之间的共享信息，当两者关系越密切时，互信息越大，互信息I(X；Y)的定义为：I(X；Y)≡H(X)
‑
H(X|Y)，此时，若存在第三个事件Z作为发生条件时，事件X,Y的条件互信息I(X；Y|Z)为：I(X；Y|Z)≡H(Y|Z)
‑
H(Y|X,Z)，然而互信息只能反映事件之间的关系，为了衡量两个事件之间信息流的方向性，引入转移熵T
X
→
Y
，转移熵T
X
→
Y
的定义为：T
X
→
Y
≡I(X
(t)
；Y
(t++)
|Y
(()
)，其中，τ为延迟时间，由于复杂工程系统不可避免地包含两个以上的节点，如果没有适当的条件，转移熵就不能区分网络中的直接和间接因果关系，而因果关系熵C
Y
→
X|Z
克服转移熵的成对限制，因果关系熵C
Y
→
X|Z
的定义为：C
Y
→
X|Z
≡I(Y
(()
；X
((++)
|Z
(()
)＝H(X
((++)
|Z
(()
)
‑
H(X
(t+τ)
|Z
(t)
,Y
(t)
)，这一指标反映在给定的条件Z
(t)
且明确X
(t++)
的信息和方向时，Y
(t)
能提供的信息量，因
此，通过确定延迟时间τ，得到两个节点时间序列之间信息流的方向，记复杂系统的节点集为V，节点数为N，当两个节点的因果熵大于0时，将两个节点的连边加入边集E
C
中，矩阵W
C
∈R
N
×
N
为以因果熵为权值的矩阵，则其因果网络图可表示为G
C
＝(V,E
C
,W
C
)，对任一节点x∈V，所有方向指向它且因果熵大于0的节点被称之为因果父母，根据最优因果熵原则，x的因果父母集是使集合中因果熵最大化的最小节点集N
x
，最优因果熵算法可以分成聚合阶段与删除阶段，在聚合阶段，对于节点集V＝{x,y1,y2,
…
,y
N31
}＝{x,y}，记节点x的因果父母集为z，算法初始阶段z为空集，如果则将节点y
i
添加到z中，即z＝z∪y
i
，换而言之，y
i
为当前属于y且不属于z的节点集中因果熵最大的节点，而且该因果熵大于0，当y中找不到这样的节点时，聚合阶段结束，在删除阶段，聚合阶段所得的z可能是与x直接交流的超集，因此，对于z中成员z
i
，如果则将z
i
从z中删除，当遍历z中所有成员后，留在z中的节点就是x的直接因果父母，删除阶段结束，此时N
x
＝z，对于V中每个节点进行最优因果熵算法，可以得到两两节点之间的因果关系E
C
，初步构造因果网络，(2)计算因果熵，因果熵等价于互信息，通过一种基于K邻近算法的互信息估计方法来估计两个事件X,Y的互信息：I(X；Y)＝ψ(k)+ψ(N)
‑
<ψ(n
x
+1)+ψ(n
y
+1)>，其中<>表示所有样本的平均值，k表示为近邻点个数，是一个Digamma函数是一个Digamma函数N表示样本大小，n
x
,n
y
分别表示X,Y方向满足K邻近算法的个数，即对于固定的k值，设联合空间中的数据点w
i
＝(x
i
,y
i
)到其第k个最近邻的距离为∈(i)，n
x
,n
y
分别为x
j
,y
j
(j≠i)中满足||x
j
‑
x
i
||
x
<∈(i),||y
j
‑
y
i
||
y
<∈(i)的点数，当范数内为标量相减时，范数的值与标量之差的绝对值相同；当考虑n个独立样本{s1,s2,
…
,s
n
}的联合随机变量S＝(X,Y,Z)，其中s
i
＝(x
i
,y
i
,z
i
)，I(X；Y|Z)的估计由以下公式给出：I(X；Y|Z)＝ψ(k)
‑
<ψ(n
xz
+1)+ψ(n
yz
+1)
‑
ψ(n
z
+1)>，ψ(k)同样为Digamma函数，对于固定的k值，设联合空间中的数据点s
i
到其第k个最近邻的距离为∈(i)，距离度量使用最大范数，即||s
i
‑
s
j
||
xyz
＝max{||x
i
‑
x
j
||
x
,||y
i
‑
y
j
||
y
,||z
i
‑
z
j
||
z
}，基于此...

【专利技术属性】
技术研发人员：陈都鑫，程钰鑫，虞文武，
申请(专利权)人：东南大学，
类型：发明
国别省市：