一种基于图神经网络的多变量时间序列异常检测方法及系统技术方案

本发明专利技术提出一种基于图神经网络的多变量时间序列异常检测方法和系统，包括：以物理系统中传感器作为概率图模型中节点，以传感器监测的数据作为时间序列，对多维时间序列关系建模，得到动态图神经网络模型；得到各节点下一时间点的预测值，并采用归一化的时间对齐测度生成各节点的邻接矩阵；当时间进行到下一时间点，获取节点的真实值，根据预测值和真实值，构建引入邻接矩阵重构误差的损失函数，以训练更新动态图神经网络模型，同时根据各节点损失函数数值及其邻居节点在分布上的差异性和邻接矩阵值，得到各节点的异常值；当节点预测值与真实值的误差大于异常值，则产生异常报警。本发明专利技术提高了系统异常值的稳定性和缓变异常检测的准确性。测的准确性。测的准确性。

【技术实现步骤摘要】
一种基于图神经网络的多变量时间序列异常检测方法及系统


[0001]本专利技术涉及工业设备系统的异常检测/稳定性检测，尤其是一个过程控制中的设备系统异常检测/稳定性检测。

技术介绍

[0002]对于一个复杂的物理系统(如电厂、数据中心、智能工厂等)，其存在着大量不同类型的传感器(如电流、电压、温度、速度及压力等)用于监测系统各设备的运行状态。在管理这种复杂物理系统的过程中，一项关键的任务就是对系统异常进行实时监测，以便于在适当时间采取措施解决引起异常报警的原因。
[0003]根据是否存在对应的正异常标签，多变量时间序列异常检测模型可分为有监督、无监督和半监督三大类。同时，考虑到实际应用中异常数据较少且标注难度大，因此无监督的时间序列异常检测算法已成为近年来该领域研究的重点。根据算法原理的不同，无监督多变量时间序列异常检测可分为基于序列相似度的算法、基于预测模型的算法两大类。对于多变量时间序列，由于直接计算两两序列间相似度的复杂度高，因此该类算法并不会直接单独使用。对于多变量时间序列，尽管降维算法的优化过程以减少各序列的重构误差为目的，但仅通过无监督的序列投影仍无法保证对下一时刻序列取值的预测误差。因此，目前多维时间序列异常检测主要基于时间序列预测模型实现。如Jones等人提出通过一种序列轨迹特征构建序列间的相似性，并通过对不同尺度下的轨迹特征的叠加以解决长周期时间序列的相关性的问题。这也在一定程度上扩大了后续预测模型的输入序列长度。Munir等人提出了DeepAnT模型，即采用CNN构建时间序列预测器以提高对周期性和季节性时间序列的预测性能，并采用预测值与真实值误差的平方根定义异常值。Deng等人提出了基于图神经网络的GDN以实现多维时间序列异常检测，并通过图注意力机制构建邻接矩阵实现字段间相关性的自动发现。
[0004]对于上述无监督高维时间序列异常检测模型，其中大多数仍不能有效的检测出序列的异常，这是因为：
[0005]1)由于数据本身存在时域的依赖关系，因此基于简单的距离或聚类的算法，很难对序列时序关系建模。
[0006]2)考虑到流程或机理上的因果关系，各传感器采集的数据间存在某种潜在的相关性。显然现有的基于预测模型的异常检测算法，尽管有较高的处理效率，但大多缺少对各字段间的相关性建模。
[0007]3)虽然GDN模型可以自动发现字段间的相关性，但对于由于邻接矩阵随时间变化较大，系统异常值的波动也很大。这使得实际使用时，异常检测的阈值难以确定。
[0008]专利技术人在进行基于深度学习多维时间序列异常检测算法的研究时，发现GDN模型只能通过基于输入数据的训练得到其静态模型，随着输入维度的增加，模型输出的异常值以及节点相关性的波动也较大，不利于异常检测和进一步的分析。GDN模型的训练过程仅优化了特征数据的预测误差，缺少显式的与节点网络结构相关(如各节点属性形似度)的重构
误差信息的监督，因此，训练得到的图嵌入特征及相关的邻接矩阵的偏差较大，不能直接用于后续的根原因分析。且GDN模型仍属静态模型，即仅根据输入数据预测当前的网络结构进行推理。尽管推理过程计算简单，但由于模型中缺少反映变量时域相关性的模块，因此并不适于对不断变化的可能的异常字段及其邻接关系建模。

技术实现思路

[0009]本专利技术的目的是解决现有基于图神经网络的多维时间序列异常检测模型输出的异常值变化大的问题，结合概率图模型理论提出一种基于动态时序模型的多维时间序列预测模型。首先，基于概率图模型理论构建了时间序列模型以对多维时间序列关系建模，以实现一种动态图神经网络；其次，结合多头注意力机制和静态图神经网络特点，采用改进后的多头注意力机制实现图神经网络节点特征的聚合；同时，采用归一化的time alignment测度(TAM)近似邻接矩阵，并在损失函数中显式的引入邻接矩阵的重构误差，以使得图嵌入表示除邻域结构外还蕴含着节点数据自身的相似性。随后，根据各节点与其邻居在分布的差异性和TAM值，定义各节点的异常值，并将其均值作为系统的异常值。
[0010]针对现有技术的不足，本专利技术提出一种基于图神经网络的多变量时间序列异常检测方法，其中包括：
[0011]步骤1、获取待异常检测物理系统的中各传感器采集的数据，并以传感器作为概率图模型中节点，以传感器监测的数据作为时间序列，对多维时间序列关系建模，得到动态图神经网络模型；
[0012]步骤2、采用多头注意力机制对该动态图神经网络模型中节点的特征进行聚合，以得到各节点下一时间点的预测值，并采用归一化的时间对齐测度各节点的邻接矩阵；
[0013]步骤3、当时间进行到该下一时间点，获取节点的真实值，根据该预测值和该真实值，构建引入该邻接矩阵重构误差的损失函数，以训练更新该动态图神经网络模型，同时根据各节点损失函数数值及其邻居节点在分布上的差异性和邻接矩阵值，得到各节点的异常值；
[0014]步骤4、循环执行步骤1到步骤3；当同一时间点的节点预测值与真实值的误差大于该异常值，则产生对应节点的异常报警。
[0015]所述的基于图神经网络的多变量时间序列异常检测方法，其中该步骤2中训练更新该动态图神经网络模型包括：
[0016]对于T长的传感器运行状态序列，采用时间序列误差L
recon
和拟合误差L
reg
的均方误差作为该损失函数；其中该时间序列误差L
recon
为t时刻数据的预测值与真实值s
1:T
的平均偏差；该拟合误差L
reg
是归一化的邻接矩阵与邻接矩阵模板A的拟合误差；
[0017]其中邻接矩阵A用于表示有向图，其中元素A
ij
表示从节点i到节点j的有向的边，而表示节点i的邻域，该动态图神经网络模型采用余弦测度e
ji
表示边的权重，即节点间的依赖性；邻域大小为K，并选择强度前K个邻居定义邻接矩阵，即：
[0018][0019]通过最小化该损失函数，以训练更新该动态图神经网络模型，且在训练过程，将s
t
预测值的经验分布作为其概率表示：
[0020][0021]其中，采用时间对齐测度法得到邻接矩阵的近似表示，并基于GATv2的通过以下步骤得到估计值将归一化以得到相似度矩阵e，并根据上式(1)计算邻接矩阵A
t
，根据GATv2的定义得到的如下表示：
[0022][0023]对于各节点新的聚合特征，将其多头输出拼接起来，并通过多个级联的全连接层的输出作为当前真实值的估计值
[0024]所述的基于图神经网络的多变量时间序列异常检测方法，其中该步骤3包括：
[0025]根据各节点最相关的前l个邻居节点，得到各节点与其邻居节点的一致性，同时以该一致性的平均值作为对应节点的异常值。
[0026]所述的基于图神经网络的多变量时间序列异常检测方法，其中该待异常检测的物理系统应为包含复杂控制逻辑的信息物理系统，包括电厂、数据中心和智能工厂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的多变量时间序列异常检测方法，其特征在于，包括：步骤1、获取待异常检测物理系统的中各传感器采集的数据，并以传感器作为概率图模型中节点，以传感器监测的数据作为时间序列，对多维时间序列关系建模，得到动态图神经网络模型；步骤2、采用多头注意力机制对该动态图神经网络模型中节点的特征进行聚合，以得到各节点下一时间点的预测值，并采用归一化的时间对齐测度各节点的邻接矩阵；步骤3、当时间进行到该下一时间点，获取节点的真实值，根据该预测值和该真实值，构建引入该邻接矩阵重构误差的损失函数，以训练更新该动态图神经网络模型，同时根据各节点损失函数数值及其邻居节点在分布上的差异性和邻接矩阵值，得到各节点的异常值；步骤4、循环执行步骤1到步骤3；当同一时间点的节点预测值与真实值的误差大于该异常值，则产生对应节点的异常报警。2.如权利要求1所述的基于图神经网络的多变量时间序列异常检测方法，其特征在于，该步骤2中训练更新该动态图神经网络模型包括：对于T长的传感器运行状态序列，采用时间序列误差L
recon
和拟合误差L
reg
的均方误差作为该损失函数；其中该时间序列误差L
recon
为t时刻数据的预测值与真实值s
1：T
的平均偏差；该拟合误差L
reg
是归一化的邻接矩阵与邻接矩阵模板A的拟合误差；其中邻接矩阵A用于表示有向图，其中元素A
ij
表示从节点i到节点j的有向的边，而表示节点i的邻域，该动态图神经网络模型采用余弦测度e
ji
表示边的权重，即节点间的依赖性；邻域大小为K，并选择强度前K个邻居定义邻接矩阵，即：通过最小化该损失函数，以训练更新该动态图神经网络模型，且在训练过程，将s
t
预测值的经验分布作为其概率表示：其中，采用时间对齐测度法得到邻接矩阵的近似表示，并基于GATv2的通过以下步骤得到估计值将归一化以得到相似度矩阵e，并根据上式(1)计算邻接矩阵A
t
，根据GATv2的定义得到的如下表示：对于各节点新的聚合特征，将其多头输出拼接起来，并通过多个级联的全连接层的输出作为当前真实值的估计值3.如权利要求1所述的基于图神经网络的多变量时间序列异常检测方法，其特征在于，该步骤3包括：根据各节点最相关的前l个邻居节点，得到各节点与其邻居节点的一致性，同时以该一致性的平均值作为对应节点的异常值。4.如权利要求1所述的基于图神经网络的多变量时间序列异常检测方法，其特征在于，该待异常检测的物理系统应为包含复杂控制逻辑的信息物理系统，包括电厂、数据中心和智能工厂等；该传感器包括电流、电压、温度、速度及压力、扭矩、流量、位移传感器。5.一种基于图神经网络的多变量时间序列异常检测系统，其特征在于，包括：初始模块，用于获取待异常检测物理系统的中各传感器采...

【专利技术属性】
技术研发人员：刘涛，杨晨旺，马君，韩银和，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：