基于深度学习的日志异常检测方法、装置、终端及介质制造方法及图纸

本发明专利技术实施例提供一种基于深度学习的日志异常检测方法，利用历史日志文件进行深度学习，得到日志文件检测模型；在预设时间窗口内，接收待检测的日志文件；对待检测的日志文件进行预处理得到日志文件测试样本；对日志文件测试样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将日志关键字序列输入至日志文件检测模型进行异常检测；若存在异常时，发送预设告警提示至预设应用负责人。本发明专利技术实施例还提供一种基于深度学习的日志异常检测装置、终端以及计算机可读存储介质。本发明专利技术涉及日志监控，利用本发明专利技术实施例，可借助深度学习，自动检测日志文件是否存在异常，提高了日志告警的效率。

【技术实现步骤摘要】
基于深度学习的日志异常检测方法、装置、终端及介质
本专利技术涉及云监控领域，尤其涉及一种基于深度学习的日志异常检测方法、基于深度学习的日志异常检测装置、终端以及计算机可读存储介质。
技术介绍
在当今高速发展的信息社会，人们已经离不开计算机等智能设备，随着计算机技术的成熟，运行于智能设备的应用程序虽然越来越可靠，但是实际运行过程中又难免会出现错误的情况。因此，工程技术人员通常需要通过日志系统，记录应用程序的运行状态及操作内容，以备工程技术人员查看、作为调试通信设备的依据。日志系统以日志的形式记录应用程序的各种运行状态和操作信息，生成日志文件，日志文件通常存储在本地存储设备内。随着数据处理、分析能力的提升，以及机器学习等人工智能技术的成熟，检测日志文件异常的技术层出不穷。现有技术在网络安全领域中通过对各类日志文件分析，进行异常发现、安全检测，进而保护应用程序运行安全。但是由于攻击方式、攻击手法具有多样性、不可预测性，基于先验知识检测手法难以应对新的异常。
技术实现思路
鉴于此，有必要提供一种基于深度学习的日志异常检测方法、基于深度学习的日志异常检测装置、终端以及计算机可读存储介质，能够自动检测日志文件是否存在异常，并且实现对检测模型自动更新，提高了日志异常检测的效率。本专利技术实施例第一方面提供一种基于深度学习的日志异常检测方法，所述基于深度学习的日志异常检测方法包括：获取历史日志文件，并利用所述历史日志文件进行深度学习，得到日志文件检测模型；在预设时间窗口内，接收待检测的日志文件；对所述待检测的日志文件进行预处理得到包含日志信息的日志文件测试样本；通过预设聚类算法对所述日志文件测试样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将所述日志关键字序列输入至所述日志文件检测模型进行异常检测；若检测所述待检测的日志文件存在异常时，发送预设告警提示至预设应用负责人。进一步的，在本专利技术实施例提供的上述基于深度学习的日志异常检测方法中，所述利用所述历史日志文件进行深度学习，得到日志文件检测模型包括：对所获取的所有历史日志文件中的每一个日志文件进行预处理得到包含日志信息的日志文件训练样本；通过预设聚类算法对日志文件训练样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将所述日志文件训练样本及对应的日志关键字序列输入预设的长短期记忆网络中进行训练，得到日志文件检测模型。进一步的，在本专利技术实施例提供的上述基于深度学习的日志异常检测方法中，所述对所获取的所有历史日志文件中的每一个日志文件进行预处理包括：按照预设规则对所述历史日志文件中的每一个日志文件进行切片或采样，其中，所述预设规则包括日志文件的时间序列、日志文件类型以及日志文件的来源信息。进一步的，在本专利技术实施例提供的上述基于深度学习的日志异常检测方法中，所述日志文件检测模型的输入为预设时间窗口内的每类日志文件对应的日志关键字序列，输出为所有的预设日志关键字在所述关键字序列之后出现的概率向量。进一步的，在本专利技术实施例提供的上述基于深度学习的日志异常检测方法中，所述将所述日志关键字序列输入至所述日志文件检测模型进行异常检测包括：检测接收到待检测的日志文件的输出日志关键字是否为在所述日志关键字序列之后出现的概率最大的预设日志关键字；若所述输出日志关键字不为在所述日志关键字序列之后出现概率最大的预设日志关键字，则判定所述待检测的日志文件存在异常。进一步的，在本专利技术实施例提供的上述基于深度学习的日志异常检测方法中，在所述判定所述待检测的日志文件存在异常之前，所述方法还包括：判断所述待检测的日志文件存在的异常是否为训练阶段已经出现的异常；若判断结果为所述待检测的日志文件存在的异常为训练阶段已经出现的异常，则将报警提示发送给预设应用负责人；若判断结果为所述待检测的日志文件存在的异常为未出现过的日志文件异常，则将所述未出现过的日志文件异常输出至第三方进行判断，其中，所述第三方包括用户、云端装置及用户与云端装置的组合。进一步的，在本专利技术实施例提供的上述基于深度学习的日志异常检测方法中，所述方法还包括：获取在预设时间间隔内所述第三方输出的所有异常检测反馈信息；根据所述异常检测反馈信息调整所述日志文件检测模型的参数，更新所述日志文件检测模型。本专利技术实施例第二方面还提供一种基于深度学习的日志异常检测装置，所述装置包括：模型训练模块，用于获取历史日志文件，并利用所述历史日志文件进行深度学习，得到日志文件检测模型；日志接收模块，用于在预设时间窗口内，接收待检测的日志文件；预处理模块，用于对所述待检测的日志文件进行预处理得到包含日志信息的日志文件测试样本；聚类分析模块，用于通过预设聚类算法对所述日志文件测试样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；异常检测模块，用于将所述日志关键字序列输入至所述日志文件检测模型进行异常检测；告警提示模块，用于若检测所述待检测的日志文件存在异常时，发送预设告警提示至预设应用负责人。本专利技术实施例第三方面还提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述任意一项所述的基于深度学习的日志异常检测方法。本专利技术实施例第四方面还提供一种计算机可读存储介质，所述计算机可读上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于深度学习的日志异常检测方法。本专利技术实施例提供一种基于深度学习的日志异常检测方法、基于深度学习的日志异常检测装置、终端以及计算机可读存储介质，获取历史日志文件，并利用所述历史日志文件进行深度学习，得到日志文件检测模型；在预设时间窗口内，接收待检测的日志文件；对所述待检测的日志文件进行预处理得到包含日志信息的日志文件测试样本；通过预设聚类算法对所述日志文件测试样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将所述日志关键字序列输入至所述日志文件检测模型进行异常检测；若检测所述待检测的日志文件存在异常时，发送预设告警提示至预设应用负责人。利用本专利技术实施例，可借助深度学习，自动检测日志文件是否存在异常，且神经网络具备高度学习和自适应能力，能够自动调整模型参数，从而更新检测模型，提高了日志告警的效率。附图说明图1是本专利技术第一实施方式提供的基于深度学习的日志异常检测方法的流程图。图2是本专利技术一实施方式的终端的结构示意图。图3是图2所示的终端的示例性的功能模块图。主要元件符号说明如下具体实施方式将结合上述附图进一步说明本专利技术实施例。具体实施方式为了能够更清楚地理解本专利技术实施例的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术实施例，所描述的实施方式仅仅是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术实施例保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术实施例的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施方式的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的日志异常检测方法，其特征在于，所述基于深度学习的日志异常检测方法包括：获取历史日志文件，并利用所述历史日志文件进行深度学习，得到日志文件检测模型；在预设时间窗口内，接收待检测的日志文件；对所述待检测的日志文件进行预处理得到包含日志信息的日志文件测试样本；通过预设聚类算法对所述日志文件测试样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将所述日志关键字序列输入至所述日志文件检测模型进行异常检测；若检测所述待检测的日志文件存在异常时，发送预设告警提示至预设应用负责人。

【技术特征摘要】
1.一种基于深度学习的日志异常检测方法，其特征在于，所述基于深度学习的日志异常检测方法包括：获取历史日志文件，并利用所述历史日志文件进行深度学习，得到日志文件检测模型；在预设时间窗口内，接收待检测的日志文件；对所述待检测的日志文件进行预处理得到包含日志信息的日志文件测试样本；通过预设聚类算法对所述日志文件测试样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将所述日志关键字序列输入至所述日志文件检测模型进行异常检测；若检测所述待检测的日志文件存在异常时，发送预设告警提示至预设应用负责人。2.根据权利要求1所述的基于深度学习的日志异常检测方法，其特征在于，所述利用所述历史日志文件进行深度学习，得到日志文件检测模型包括：对所获取的所有历史日志文件中的每一个日志文件进行预处理得到包含日志信息的日志文件训练样本；通过预设聚类算法对日志文件训练样本进行聚类分析，得到多类日志文件及每类日志文件对应的日志关键字序列；将所述日志文件训练样本及对应的日志关键字序列输入预设的长短期记忆网络中进行训练，得到日志文件检测模型。3.根据权利要求2所述的基于深度学习的日志异常检测方法，其特征在于，所述对所获取的所有历史日志文件中的每一个日志文件进行预处理包括：按照预设规则对所述历史日志文件中的每一个日志文件进行切片或采样，其中，所述预设规则包括日志文件的时间序列、日志文件类型以及日志文件的来源信息。4.根据权利要求1所述的基于深度学习的日志异常检测方法，其特征在于，所述日志文件检测模型的输入为预设时间窗口内的每类日志文件对应的日志关键字序列，输出为所有的预设日志关键字在所述关键字序列之后出现的概率向量。5.根据权利要求4所述的基于深度学习的日志异常检测方法，其特征在于，所述将所述日志关键字序列输入至所述日志文件检测模型进行异常检测包括：检测接收到待检测的日志文件的输出日志关键字是否为在所述日志关键字序列之后出现的概率最大的预设日志关键字；若所述输出日志关键字不为在所述日志...

【专利技术属性】
技术研发人员：石晓龙，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44