数据异常检测方法技术

本说明书一个或多个实施例提供了一种数据异常检测方法

【技术实现步骤摘要】
数据异常检测方法、装置、存储介质及电子设备


[0001]本说明书一个或多个实施例涉及数据处理
，具体涉及一种数据异常检测方法
、
装置
、
存储介质及电子设备
。

技术介绍

[0002]随着云计算的发展，软件系统架构由单体架构逐渐转变为面向服务的架构，面向服务的架构可以适应系统规模的快速增长，具备更快的迭代速度
、
更低的开发复杂性和更好的可扩展性
。
然而，它的部署和运维复杂性却大大增加，给故障检测和诊断等运维工作带来挑战
。

技术实现思路

[0003]有鉴于此，本说明书一个或多个实施例提供了一种数据异常检测方法
、
装置
、
存储介质及电子设备
。
[0004]第一方面，本说明书一个或多个实施例提供了一种数据异常检测方法，包括：确定目标微服务系统中的指标时序数据
、
日志时序数据和调用链时序数据，目标微服务系统中包括多个微服务；基于指标时序数据和日志时序数据，确定多个微服务对应的多个服务实例；基于调用链时序数据，确定多个服务实例之间的服务调用关系；基于多个服务实例以及多个服务实例之间的服务调用关系，生成具有时序关系的多个有向图；基于多个有向图，确定目标微服务系统对应的数据异常检测结果
。
[0005]结合第一方面，在一些实现方式中，基于多个有向图，确定目标微服务系统对应的数据异常检测结果，包括：基于多个有向图，确定多个服务实例之间的空间依赖信息；基于多个有向图，确定指标时序数据
、
日志时序数据和调用链时序数据之间的时间依赖信息；基于多个有向图
、
空间依赖信息和时间依赖信息，确定目标微服务系统对应的数据异常检测结果
。
[0006]结合第一方面，在一些实现方式中，基于多个有向图
、
空间依赖信息和时间依赖信息，确定目标微服务系统对应的数据异常检测结果，包括：基于空间依赖信息和时间依赖信息，更新多个有向图，得到多个服务实例对应的特征数据以及服务调用关系对应的特征数据的预测误差；基于空间依赖信息和时间依赖信息，更新多个有向图中的部分有向图，得到多个服务实例对应的特征数据以及服务调用关系对应的特征数据的重建误差；基于重建误差和预测误差，确定目标微服务系统对应的数据异常检测结果
。
[0007]结合第一方面，在一些实现方式中，在确定重建误差时，时间依赖信息是通过掩模的时间注意力网络得到的
。
[0008]结合第一方面，在一些实现方式中，基于多个有向图，确定多个服务实例之间的空间依赖信息，包括：基于多个有向图和图注意力网络，确定多个服务实例之间的空间依赖信息
。
[0009]结合第一方面，在一些实现方式中，确定目标微服务系统中的指标时序数据
、
日志
时序数据和调用链时序数据，包括：获取目标微服务系统中的指标数据
、
日志数据和调用链数据；分别对目标微服务系统中的指标数据
、
日志数据和调用链数据进行结构化处理和时间序列化处理，得到目标微服务系统中的指标时序数据
、
日志时序数据和调用链时序数据
。
[0010]结合第一方面，在一些实现方式中，有向图的顶点特征是基于指标时序数据和日志时序数据确定的，有向图的边特征是基于调用链时序数据确定的
。
[0011]第二方面，本说明书一个或多个实施例提供了一种数据异常检测装置，包括：第一确定模块，用于确定目标微服务系统中的指标时序数据
、
日志时序数据和调用链时序数据，目标微服务系统中包括多个微服务；第二确定模块，用于基于指标时序数据和日志时序数据，确定多个微服务对应的多个服务实例；第三确定模块，用于基于调用链时序数据，确定多个服务实例之间的服务调用关系；生成模块，用于基于多个服务实例以及多个服务实例之间的服务调用关系，生成具有时序关系的多个有向图；第四确定模块，用于基于多个有向图，确定目标微服务系统对应的数据异常检测结果
。
[0012]第三方面，本说明书一个或多个实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于执行第一方面所提及的方法
。
[0013]第四方面，本说明书一个或多个实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面所提及的方法
。
[0014]第五方面，本说明书一个或多个实施例提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，能够实现上述第一方面所提及的方法
。
[0015]在本说明书实施例中，利用指标时序数据
、
日志时序数据和调用链时序数据进行异常判断，通过多种数据源对异常所具有的不同的敏感度和判断力，可以提高数据异常检测的准确率
。
此外，本说明书实施例利用有向图将指标时序数据
、
日志时序数据和调用链时序数据集成并表示出来，其可以作为物理世界的微服务系统的虚拟表示，提高了物理对应模型的可靠性和安全性
。
同时，通过固定图结构的有向图，使得有向图中主要变化的是图的顶点特征和图的边特征，因此，可以采用多种异常检测算法进行数据异常检测，降低了数据异常检测方法的局限性，提高了本说明书实施例中的数据异常检测方法的普适性
。
附图说明
[0016]通过结合附图对本说明书实施例进行更详细地描述，本说明书实施例的上述以及其他目的
、
特征和优势将变得更加明显
。
附图用来提供对本说明书实施例的进一步理解，并且构成说明书的一部分，与本说明书实施例一起用于解释本说明书实施例，并不构成对本说明书实施例的限制
。
在附图中，相同的参考标号通常代表相同部件或步骤
。
[0017]图1所示为数据异常检测方法所涉及的实施环境示意图
。
[0018]图2所示为本说明书一示例性实施例提供的数据异常检测方法的流程示意图
。
[0019]图3所示为本说明书一示例性实施例提供的有向图的构建示意图
。
[0020]图4所示为本说明书一示例性实施例提供的确定数据异常检测结果的流程示意图
。
[0021]图5所示为本说明书另一示例性实施例提供的确定数据异常检测结果的流程示意图
。
[0022]图
6a
所示为本说明书一示例性实施例提供的更新服务实例的示意图
。
[0023]图
6b
所示为本说明书一示例性实施例提供的更新调用关系的示意图
。
[0024]图7所示为本说明书一示例性实施例提供的时序异常检测模型的结构示意图
。
[0025]图8本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据异常检测方法，包括：确定目标微服务系统中的指标时序数据
、
日志时序数据和调用链时序数据，所述目标微服务系统中包括多个微服务；基于所述指标时序数据和所述日志时序数据，确定所述多个微服务对应的多个服务实例；基于所述调用链时序数据，确定所述多个服务实例之间的服务调用关系；基于所述多个服务实例以及所述多个服务实例之间的服务调用关系，生成具有时序关系的多个有向图；基于所述多个有向图，确定所述目标微服务系统对应的数据异常检测结果
。2.
根据权利要求1所述的方法，所述基于所述多个有向图，确定所述目标微服务系统对应的数据异常检测结果，包括：基于所述多个有向图，确定所述多个服务实例之间的空间依赖信息；基于所述多个有向图，确定所述指标时序数据
、
所述日志时序数据和所述调用链时序数据之间的时间依赖信息；基于所述多个有向图
、
所述空间依赖信息和所述时间依赖信息，确定所述目标微服务系统对应的数据异常检测结果
。3.
根据权利要求2所述的方法，所述基于所述多个有向图
、
所述空间依赖信息和所述时间依赖信息，确定所述目标微服务系统对应的数据异常检测结果，包括：基于所述空间依赖信息和所述时间依赖信息，更新所述多个有向图，得到所述多个服务实例对应的特征数据以及所述服务调用关系对应的特征数据的预测误差；基于所述空间依赖信息和所述时间依赖信息，更新所述多个有向图中的部分有向图，得到所述多个服务实例对应的特征数据以及所述服务调用关系对应的特征数据的重建误差；基于所述重建误差和所述预测误差，确定所述目标微服务系统对应的数据异常检测结果
。4.
根据权利要求3所述的方法，在确定所述重建误差时，所述时间依赖信息是通过掩模的时间注意力网络得到的
。5.
根据权利要求2所述的方法，所述基于所述多个有向图，...

【专利技术属性】
技术研发人员：黄俊，杨阳，余航，李建国，郑啸，刘向阳，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：