System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种日志异常检测方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种日志异常检测方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41296665 阅读:3 留言:0更新日期:2024-05-13 14:45
本申请提供了一种日志异常检测方法、装置、电子设备及存储介质,涉及数据处理技术领域,该方法包括:接收待检测日志数据;利用卷积层对待检测日志数据的局部特征进行提取,获取局部特征信息,利用自注意力机制层对待检测日志数据的全局特征进行提取,获取全局特征信息;利用拼接层对局部特征信息及全局特征信息进行拼接,获得拼接特征向量;利用异常分类层对拼接特征向量进行异常分类,确定待检测日志数据的日志异常类型。通过采用上述日志异常检测方法、装置、电子设备及存储介质,解决了现有日志异常检测方法中,检测效率以及检测精度低的问题。

【技术实现步骤摘要】

本申请涉及数据处理,具体而言,涉及一种日志异常检测方法、装置、电子设备及存储介质


技术介绍

1、随着企业数字化转型的加速,传统以硬件服务器为主的互联网基础设施已难以支撑各单位数据快速增长的需求,各机构为了降低自身互联网系统的建设、运营及维护成本,提升系统运行环境的稳定性,越来越倾向于将业务系统迁移至云数据中心。云数据中心由大量网络设备、服务器、存储、操作系统、云管平台等软硬件构成,在运行过程中不可避免的会出现运行负载高、资源占用高等情况及各种软硬件故障,针对日志进行异常检测能有效定位系统故障、及时排查问题,对提升云平台可靠性、保障用户业务运行稳定至关重要。

2、然而,现有的日志异常检测方法,一种是由开发人员手动检查或者应用统计学分析方法分析日志数据,存在检测效率低的问题,另一种是基于深度学习的检测方法,该方法存在检测精度低的问题。


技术实现思路

1、有鉴于此,本申请的目的在于提供一种日志异常检测方法、装置、电子设备及存储介质,以解决现有日志异常检测方法中,检测效率以及检测精度低的问题。

2、第一方面,本申请实施例提供了一种日志异常检测方法,应用于日志异常检测优化模型,所述日志异常检测优化模型包括卷积层、自注意力机制层、特征拼接层及异常分类层,方法包括:

3、接收待检测日志数据;

4、利用卷积层对待检测日志数据的局部特征进行提取,获取局部特征信息,利用自注意力机制层对待检测日志数据的全局特征进行提取,获取全局特征信息;

5、利用拼接层对局部特征信息及全局特征信息进行拼接,获得拼接特征向量;

6、利用异常分类层对拼接特征向量进行异常分类,确定待检测日志数据的日志异常类型。

7、可选地,日志异常检测优化模型还包括词嵌入层,在利用卷积层对待检测日志数据的局部特征进行提取之前,还包括:利用词嵌入层将待检测日志数据的日志信息映射为向量矩阵,以利用卷积层及自注意力机制层对向量矩阵进行特征提取。

8、可选地,向量矩阵包括多行日志特征,利用卷积层对待检测日志数据的局部特征进行提取,获取局部特征信息,包括:针对待检测日志数据对应的向量矩阵中的每行日志特征,提取该行日志特征中的短距离特征信息及不同日志特征之间的关联关系;根据关联关系将不同行的多个短距离特征信息拼接起来,获得多行日志的局部特征信息。

9、可选地,自注意力机制层包括位置编码器及多个自编码器,利用自注意力机制层对待检测日志数据的全局特征进行提取,获取全局特征信息,包括:利用位置编码器,确定反映待检测日志数据对应的向量矩阵中不同日志特征之间位置关系的位置向量;利用多个自编码器及位置向量,获取全局特征信息。

10、可选地,利用多个自编码器及位置向量,获取全局特征信息,包括:将位置向量添加到向量矩阵中,生成距离向量矩阵;利用多个自编码器,针对不同行日志特征之间的全局关系进行提取,获得日志的全局特征信息。

11、可选地,日志异常检测优化模型还包括第一全连接层,在获得拼接特征向量之后,还包括:利用第一全连接层对拼接特征向量进行特征交叉及降维处理,获得降维后的拼接特征向量,以利用异常分类层对降维后的拼接特征向量进行异常分类。

12、可选地,在接收待检测日志数据之前,还包括:获取历史日志数据;对历史日志数据进行清洗及分词处理,获得日志样本数据;利用日志样本数据对日志异常检测模型进行训练,获得日志异常检测优化模型。

13、第二方面,本申请实施例还提供了一种日志异常检测装置,应用于日志异常检测优化模型,日志异常检测优化模型包括卷积层、自注意力机制层、特征拼接层及异常分类层,所述装置包括:

14、数据获取模块,用于接收待检测日志数据;

15、特征提取模块,用于利用卷积层对待检测日志数据的局部特征进行提取,获取局部特征信息,利用自注意力机制层对待检测日志数据的全局特征进行提取,获取全局特征信息;

16、特征拼接模块,用于利用拼接层对局部特征信息及全局特征信息进行拼接,获得拼接特征向量;

17、异常分类模块,用于利用异常分类层对拼接特征向量进行异常分类,确定待检测日志数据的日志异常类型。

18、第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的日志异常检测方法的步骤。

19、第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的日志异常检测方法的步骤。

20、本申请实施例带来了以下有益效果:

21、本申请实施例提供的一种日志异常检测方法、装置、电子设备及存储介质,能够利用自注意力机制获取全局特征信息,利用卷积神经网络获取局部特征信息,将全局特征信息与局部特征信息拼接在一起,实现局部特征与全局特征的融合,以提高检测精度,最后通过异常分类实现日志异常的识别,与现有技术中的日志异常检测方法相比,解决了检测效率以及检测精度低的问题。

22、为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

本文档来自技高网...

【技术保护点】

1.一种日志异常检测方法,其特征在于,应用于日志异常检测优化模型,所述日志异常检测优化模型包括卷积层、自注意力机制层、特征拼接层及异常分类层,方法包括:

2.根据权利要求1所述的方法,其特征在于,所述日志异常检测优化模型还包括词嵌入层,在所述利用所述卷积层对所述待检测日志数据的局部特征进行提取之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述向量矩阵包括多行日志特征,所述利用所述卷积层对所述待检测日志数据的局部特征进行提取,获取局部特征信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述自注意力机制层包括位置编码器及多个自编码器,所述利用所述自注意力机制层对所述待检测日志数据的全局特征进行提取,获取全局特征信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述利用所述多个自编码器及所述位置向量,获取全局特征信息,包括:

6.根据权利要求1所述的方法,其特征在于,所述日志异常检测优化模型还包括第一全连接层,在所述获得拼接特征向量之后,还包括:

7.根据权利要求1所述的方法,其特征在于,在所述接收待检测日志数据之前,还包括:

8.一种日志异常检测装置,其特征在于,应用于日志异常检测优化模型,所述日志异常检测优化模型包括卷积层、自注意力机制层、特征拼接层及异常分类层,装置包括:

9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至7中任一项所述的日志异常检测方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的日志异常检测方法的步骤。

...

【技术特征摘要】

1.一种日志异常检测方法,其特征在于,应用于日志异常检测优化模型,所述日志异常检测优化模型包括卷积层、自注意力机制层、特征拼接层及异常分类层,方法包括:

2.根据权利要求1所述的方法,其特征在于,所述日志异常检测优化模型还包括词嵌入层,在所述利用所述卷积层对所述待检测日志数据的局部特征进行提取之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述向量矩阵包括多行日志特征,所述利用所述卷积层对所述待检测日志数据的局部特征进行提取,获取局部特征信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述自注意力机制层包括位置编码器及多个自编码器,所述利用所述自注意力机制层对所述待检测日志数据的全局特征进行提取,获取全局特征信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述利用所述多个自编码器及所述位置向量,获取全局特征信息,包括:

6.根据权利要...

【专利技术属性】
技术研发人员:时文丰申志伟朱肖曼
申请(专利权)人:中国电子信息产业集团有限公司第六研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1