异常检测模型的训练方法、装置、设备及存储介质制造方法及图纸

技术编号:35096440 阅读:16 留言:0更新日期:2022-10-01 16:59
本申请公开了一种异常检测模型的训练方法、装置、设备及存储介质,涉及人工智能技术领域。所述方法包括:获取历史时间序列数据集;从历史时间序列数据集中提取多个训练样本;对目标时序变量进行混合样本生成处理,得到处理后的目标时序变量和样本标签信息;通过异常检测模型包含的两个检测网络,分别对参考时序变量和处理后的目标时序变量进行处理,得到并根据参考时序变量对应的多个向量和处理后的目标时序变量对应的多个向量,确定异常可信度;根据异常可信度和样本标签,对异常检测模型的网络参数进行调整。本申请降低了模型的计算复杂度,且达到了更加精确、更细粒度的异常检测效果。果。果。

【技术实现步骤摘要】
异常检测模型的训练方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
,特别涉及一种异常检测模型的训练方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的发展,借助于一些机器学习训练得到的模型,可以对时间序列数据进行异常检测,以确定时间序列数据中存在的异常数据(或称为异常点)。
[0003]在相关技术中,通过机器学习模型对原始的时间序列数据进行重构,得到重构后的时间序列数据。将重构后的时间序列数据和原始的时间序列数据进行对比,判断两者之间的误差在哪一部分较大,由此来判断原始的时间序列数据集中的异常数据。
[0004]由于模型需要对较长时间步的数据进行重构,导致模型的计算复杂度较高,且无法专注于检测某些特定位置的数据是否存在异常。

技术实现思路

[0005]本申请实施例提供了一种异常检测模型的训练方法、装置、设备及存储介质。
[0006]根据本申请实施例的一个方面,提供了一种异常检测模型的训练方法,所述方法包括:
[0007]获取历史时间序列数据集,所述历史时间序列数据集包括n个不同变量的时间序列数据,每个变量的时间序列数据包括多个时间步的数据,n为大于1的整数;
[0008]从所述历史时间序列数据集中提取多个训练样本,每个所述训练样本包括一组相对应的参考时序变量和目标时序变量;其中,所述参考时序变量包括所述n个不同变量在第一时间序列所包含的至少一个时间步的数据,所述目标时序变量包括所述n个不同变量在第二时间序列所包含的至少一个时间步的数据,所述第一时间序列的时域位置位于所述第二时间序列的时域位置之前;
[0009]对所述目标时序变量进行混合样本生成处理,得到处理后的目标时序变量和样本标签信息;其中,所述样本标签信息包括所述处理后的目标时序变量中各个格点分别对应的样本标签,每个所述格点对应于一个变量在一个时间步的数据,所述样本标签用于指示所述格点对应的数据为正样本或负样本;
[0010]通过所述异常检测模型包含的两个检测网络,分别对所述参考时序变量和所述处理后的目标时序变量进行处理,得到所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量;
[0011]根据所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量,确定所述处理后的目标时序变量中各个格点分别对应的异常可信度;
[0012]根据所述处理后的目标时序变量中各个格点分别对应的异常可信度和样本标签,对所述异常检测模型的网络参数进行调整。
[0013]根据本申请实施例的一个方面,提供了一种时序数据的异常检测方法,所述方法
包括:
[0014]获取待检测的时间序列数据集,所述待检测的时间序列数据集包括n个不同变量的时间序列数据,每个变量的时间序列数据包括多个时间步的数据,n为大于1的整数;
[0015]从所述待检测的时间序列数据集中提取一组相对应的参考时序变量和目标时序变量;其中,所述参考时序变量包括所述n个不同变量在第一时间序列所包含的至少一个时间步的数据,所述目标时序变量包括所述n个不同变量在第二时间序列所包含的至少一个时间步的数据,所述第一时间序列的时域位置位于所述第二时间序列的时域位置之前;
[0016]通过异常检测模型包含的两个检测网络,分别对所述参考时序变量和所述目标时序变量进行处理,得到所述参考时序变量对应的多个向量和所述目标时序变量对应的多个向量;
[0017]根据所述参考时序变量对应的多个向量和所述目标时序变量对应的多个向量,确定所述目标时序变量中各个格点分别对应的异常可信度。
[0018]根据本申请实施例的一个方面,提供了一种异常检测模型的训练装置,所述装置包括:
[0019]数据集获取模块,用于获取历史时间序列数据集,所述历史时间序列数据集包括n个不同变量的时间序列数据,每个变量的时间序列数据包括多个时间步的数据,n为大于1的整数;
[0020]训练样本获取模块,用于从所述历史时间序列数据集中提取多个训练样本,每个所述训练样本包括一组相对应的参考时序变量和目标时序变量;其中,所述参考时序变量包括所述n个不同变量在第一时间序列所包含的至少一个时间步的数据,所述目标时序变量包括所述n个不同变量在第二时间序列所包含的至少一个时间步的数据,所述第一时间序列的时域位置位于所述第二时间序列的时域位置之前;
[0021]混合样本获取模块,用于对所述目标时序变量进行混合样本生成处理,得到处理后的目标时序变量和样本标签信息;其中,所述样本标签信息包括所述处理后的目标时序变量中各个格点分别对应的样本标签,每个所述格点对应于一个变量在一个时间步的数据,所述样本标签用于指示所述格点对应的数据为正样本或负样本;
[0022]检测向量获取模块,用于通过所述异常检测模型包含的两个检测网络,分别对所述参考时序变量和所述处理后的目标时序变量进行处理,得到所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量;
[0023]异常可信度获取模块,用于根据所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量,确定所述处理后的目标时序变量中各个格点分别对应的异常可信度;
[0024]网络参数调整模块,用于根据所述处理后的目标时序变量中各个格点分别对应的异常可信度和样本标签,对所述异常检测模型的网络参数进行调整。
[0025]根据本申请实施例的一个方面,提供了一种时序数据的异常检测装置,所述装置包括:
[0026]数据集获取模块,用于获取待检测的时间序列数据集,所述待检测的时间序列数据集包括n个不同变量的时间序列数据,每个变量的时间序列数据包括多个时间步的数据,n为大于1的整数;
[0027]检测数据提取模块,用于从所述待检测的时间序列数据集中提取一组相对应的参考时序变量和目标时序变量;其中,所述参考时序变量包括所述n个不同变量在第一时间序列所包含的至少一个时间步的数据,所述目标时序变量包括所述n个不同变量在第二时间序列所包含的至少一个时间步的数据,所述第一时间序列的时域位置位于所述第二时间序列的时域位置之前;
[0028]检测向量获取模块,用于通过异常检测模型包含的两个检测网络,分别对所述参考时序变量和所述目标时序变量进行处理,得到所述参考时序变量对应的多个向量和所述目标时序变量对应的多个向量;
[0029]异常可信度获取模块,用于根据所述参考时序变量对应的多个向量和所述目标时序变量对应的多个向量,确定所述目标时序变量中各个格点分别对应的异常可信度。
[0030]根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述异常检测模型的训练方法,或实现上述时序数据的异常检测方法。
[0031]根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种异常检测模型的训练方法,其特征在于,所述方法包括:获取历史时间序列数据集,所述历史时间序列数据集包括n个不同变量的时间序列数据,每个变量的时间序列数据包括多个时间步的数据,n为大于1的整数;从所述历史时间序列数据集中提取多个训练样本,每个所述训练样本包括一组相对应的参考时序变量和目标时序变量;其中,所述参考时序变量包括所述n个不同变量在第一时间序列所包含的至少一个时间步的数据,所述目标时序变量包括所述n个不同变量在第二时间序列所包含的至少一个时间步的数据,所述第一时间序列的时域位置位于所述第二时间序列的时域位置之前;对所述目标时序变量进行混合样本生成处理,得到处理后的目标时序变量和样本标签信息;其中,所述样本标签信息包括所述处理后的目标时序变量中各个格点分别对应的样本标签,每个所述格点对应于一个变量在一个时间步的数据,所述样本标签用于指示所述格点对应的数据为正样本或负样本;通过所述异常检测模型包含的两个检测网络,分别对所述参考时序变量和所述处理后的目标时序变量进行处理,得到所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量;根据所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量,确定所述处理后的目标时序变量中各个格点分别对应的异常可信度;根据所述处理后的目标时序变量中各个格点分别对应的异常可信度和样本标签,对所述异常检测模型的网络参数进行调整。2.根据权利要求1所述的方法,其特征在于,所述处理后的目标时序变量和所述样本标签信息通过混合样本生成器得到,所述混合样本生成器包括:迭代自编码器和负样本生成器;所述对所述目标时序变量进行混合样本生成处理,得到处理后的目标时序变量和样本标签信息,包括:通过所述迭代自编码器对所述目标时序变量进行处理,使得所述目标时序变量中的各个数据向全局均值收缩,得到重建后的目标时序变量;通过所述负样本生成器对所述重建后的目标时序变量进行处理,得到负样本时序变量;其中,所述负样本时序变量中各个格点的数据均为负样本;将所述目标时序变量和所述负样本时序变量进行整合,得到所述处理后的目标时序变量和所述样本标签信息。3.根据权利要求2所述的方法,其特征在于,所述通过所述负样本生成器对所述重建后的目标时序变量进行处理,得到负样本时序变量,包括:采用多种不同的随机数生成算法,生成与所述重建后的目标时序变量具有相同格点数量的多个随机数矩阵;对所述多个随机数矩阵进行加权求和处理,得到求和矩阵;将所述求和矩阵与所述重建后的目标时序变量相加,得到所述负样本时序变量。4.根据权利要求3所述的方法,其特征在于,所述对所述多个随机数矩阵进行加权求和处理,得到所述负样本时序变量,包括:根据所述迭代自编码器对所述目标时序变量进行处理的过程中得到的中间向量,生成
权重矩阵,所述权重矩阵中包括所述多个随机数矩阵分别对应的权重值;生成随机丢弃矩阵,所述随机丢弃矩阵中包括所述多个随机数矩阵分别对应的丢弃值,所述丢弃值用于指示是否丢弃所述随机数矩阵;将所述多个随机数矩阵分别与对应的权重值和丢弃值相乘后求和,得到所述负样本时序变量。5.根据权利要求2所述的方法,其特征在于,所述将所述目标时序变量和所述负样本时序变量进行整合,得到所述处理后的目标时序变量和所述样本标签信息,包括:从所述目标时序变量中选取部分格点的数据,以及从所述负样本时序变量中选取部分格点的数据,构建得到所述处理后的目标时序变量;将所述处理后的目标时序变量中来自所述目标时序变量的数据,确定为正样本;以及,将所述处理后的目标时序变量中来自所述负样本时序变量的数据,确定为负样本;根据所述正样本和所述负样本的确定结果,得到所述样本标签信息。6.根据权利要求1所述的方法,其特征在于,所述检测网络包括特征抽取网络和判别集群网络;所述通过所述异常检测模型包含的两个检测网络,分别对所述参考时序变量和所述处理后的目标时序变量进行处理,得到所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量,包括:通过所述两个检测网络中分别包含的特征抽取网络,分别对所述参考时序变量和所述处理后的目标时序变量进行特征抽取,得到所述参考时序变量对应的特征信息和所述处理后的目标时序变量对应的特征信息;通过所述两个检测网络中分别包含的判别集群网络,分别对所述参考时序变量对应的特征信息和所述处理后的目标时序变量对应的特征信息进行判别处理,得到所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量。7.根据权利要求6所述的方法,其特征在于,所述特征抽取网络包括m个串联的扩展模块,每个扩展模块包括一个扩展编码器和一个特征全连接层,m为大于1的整数;所述通过所述两个检测网络中分别包含的特征抽取网络,分别对所述参考时序变量和所述处理后的目标时序变量进行特征抽取,得到所述参考时序变量对应的特征信息和所述处理后的目标时序变量对应的特征信息,包括:将所述参考时序变量和所述处理后的目标时序变量分别输入至两个所述特征抽取网络中的第一个扩展模块中;通过所述扩展模块的扩展编码器对自身的输入数据抽取不同时间步之间的相关性和不同变量之间的相关性,得到抽取特征作为所述扩展模块的特征全连接层的输入数据;通过所述扩展模块的特征全连接层对自身的输入数据进行升维和降维处理,得到处理后特征作为下一个扩展模块的扩展编码器的输入数据;分别获取两个所述特征抽取网络中最后一个扩展模块的特征全连接层的输出数据,得到所述参考时序变量对应的特征信息和所述处理后的目标时序变量对应的特征信息。8.根据权利要求6所述的方法,其特征在于,所述判别集群网络包括p个子网络,p为所述目标时序变量包含的格点数量,p为大于1的整数;所述通过所述两个检测网络中分别包含的判别集群网络,分别对所述参考时序变量对
应的特征信息和所述处理后的目标时序变量对应的特征信息进行判别处理,得到所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量,包括:将所述参考时序变量对应的特征信息分别输入至第一判别集群网络包含的p个子网络中,由所述第一判别集群网络包含的p个子网络进行判别处理,输出所述参考时序变量对应的p个向量;其中,所述第一判别集群网络是所述两个检测网络中,用于处理所述参考时序变量的检测网络包含的判别集群网络;将所述处理后的目标时序变量对应的特征信息分别输入至第二判别集群网络包含的p个子网络中,由所述第二判别集群网络包含的p个子网络进行判别处理,输出所述处理后的目标时序变量对应的p个向量;其中,所述第二判别集群网络是所述两个检测网络中,用于处理所述处理后的目标时序变量的检测网络包含的判别集群网络。9.根据权利要求1所述的方法,其特征在于,所述根据所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量,确定所述处理后的目标时序变量中各个格点分别对应的异常可信度,包括:对于所述参考时序变量对应的多个向量和所述处理后的目标时序变量对应的多个向量中,对应于同一格点的两个向量,计算所述两个向量之间的相似度;根据所述处理后的目标时序变量中各个格点分别对应的相似度,确定所述处理后的目标时序变量中各个格点分别对应的异常可信度。10.根据权利要求1至9任一项所述的方法,其特征在于,所述方法还包括:将所述参考时序变量和所述处理后的目标时序变量分别叠加位置嵌入矩阵,得到叠加后的参考时序变量和叠加后的目标时序变量;其中,所述叠加后的参考时序变量和所述叠加后的目标时序变量作为所述两个检测网络的输入,所述位置嵌入矩阵包含各个格点分别对应的位置嵌入向量,同一时间步的任意两个格点具有相同的位置嵌入向量,不同时间步的任意两个格点具有不同的位置嵌入向量,且所述位置嵌入向量在模型训练过程中动态学习更新。11.一种时序...

【专利技术属性】
技术研发人员:路杰程叶碧荣
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1