本申请提供了一种基于日志的异常检测方法、其装置和电子设备。该方法包括：首先，获取初始日志数据，初始日志数据包括公开日志数据和目标历史日志数据；之后，对初始日志数据进行数据预处理，得到训练日志数据集；之后，基于训练日志数据集对初始异常检测网络进行训练，得到目标系统的目标异常检测网络；最后，获取目标系统的当前日志数据，并采用目标异常检测网络对当前日志数据进行异常检测。该方法基于公开日志数据和目标系统的目标历史日志数据，得到目标系统的异常检测网络，此异常检测网络更具有通用性，不需要提前准备日志模板，进而解决了现有技术中的日志异常检测网络的通用性较差的问题。性较差的问题。性较差的问题。
【技术实现步骤摘要】
基于日志的异常检测方法、其装置和电子设备
[0001]本申请涉及人工智能
，具体而言，涉及一种基于日志的异常检测方法、基于日志的异常检测装置、计算机可读存储介质和电子设备。
技术介绍
[0002]随着互联网、5G等技术的发展，各类系统、应用程序的功能越来越复杂。承载它们的基础设施在软件上可能由数千个微服务组成，硬件上则是各种设备的组合。这些微服务和设备的正常运行对已部署的系统和应用程序至关重要。但是，由于微服务和设备的增多，运维工作变得更加具有挑战性，除了SRE(Site Reliability Engineering，可靠性工程)工程师人工维护系统外，越来越多的企业选择智能运维技术(Artificial Intelligence for IT Operations，简称AIOps)对系统进行监控与维护。智能运维技术通常收集系统运行的各种信息如CPU(Central Processing Unit，中央处理器)利用率、内存利用率、日志指令等来检测系统异常，定位异常的根因。各种智能运维技术能够快速、高效、有效地预防即将发生的故障，旨在将系统日常运行中的危险降至最低。
[0003]基于日志的异常检测系统主要分为有监督系统和无监督系统。有监督系统假设目标系统中的日志存在标签，如使用逻辑回归模型、决策树模型检测异常信息。随着深度学习的发展，研究人员使用CNN(Convolutional Neural Network，卷积神经网络)、LSTM(Long Short
‑
Term Memory，长短时记忆网络)、Attention(注意力模型)等模型仅建模。这些系统普遍从日志中提取事件，然后利用自然语言处理技术将其转为嵌入向量，然后训练有监督模型进行异常检测。虽然这些系统具有很强的检测能力，但由于目标系统生成的日志数量庞大，同时系统更新频率高，人工标记数据的成本过高。无监督系统则不假设目标系统中的日志存在标签，通常使用聚类模型(K
‑
均值、孤立森林)进行异常信息的检测，这类方法不需要人工标注数据，但是误报率较高。
技术实现思路
[0004]本申请的主要目的在于提供一种基于日志的异常检测方法、基于日志的异常检测装置、计算机可读存储介质和电子设备，以至少解决现有技术中的日志异常检测网络的通用性较差的问题。
[0005]为了实现上述目的，根据本申请的一个方面，提供了一种基于日志的异常检测方法，包括：获取初始日志数据，所述初始日志数据包括公开日志数据和目标历史日志数据，所述公开日志数据为从公开网站上获取到的与日志异常检测相关的日志数据，所述目标历史日志数据为目标系统的历史日志数据；对所述初始日志数据进行数据预处理，得到训练日志数据集；基于所述训练日志数据集对初始异常检测网络进行训练，得到所述目标系统的目标异常检测网络；获取所述目标系统的当前日志数据，并采用所述目标异常检测网络对所述当前日志数据进行异常检测。
[0006]可选地，基于所述训练日志数据集对初始异常检测网络进行训练，得到所述目标
系统的目标异常检测网络，包括：基于所述训练日志数据集中所述公开日志数据对应的数据，对所述初始异常检测网络进行训练，得到第一预备异常检测网络；基于所述训练日志数据集中所述目标历史日志数据对应的数据，对所述第一预备异常检测网络进行训练，得到所述目标异常检测网络。
[0007]可选地，对所述初始日志数据进行数据预处理，得到训练日志数据集，包括：对所述初始日志数据进行文本预处理，使得所述初始日志数据的内容格式统一；确定所述内容格式统一后的所述初始日志数据的日志级别；生成所述初始日志数据的序列，得到所述序列与对应的所述日志级别的对应关系，形成标签数据；采用预训练的情感分析模型对所述序列进行打分，得到对应的情感分数，所述标签数据和对应的所述情感分数形成所述训练日志数据集。
[0008]可选地，采用预训练的情感分析模型对所述序列进行打分，得到对应的情感分数，包括：将所述序列输入所述预训练的情感分析模型中，得到所述序列对应的不同类别的情感标签的打分，所述情感标签包括积极、中立以及消极；获取不同类别的所述情感标签对应的权重系数；确定所述情感分数为Q＝α*P+β*M+θ*N，其中，α为所述情感标签为所述积极时对应的所述权重系数，β为所述情感标签为所述中立时对应的所述权重系数，θ为所述情感标签为所述消极时对应的所述权重系数，P为所述情感标签为所述积极时对应的打分，M为所述情感标签为所述中立时对应的打分，N为所述情感标签为所述消极时对应的打分。
[0009]可选地，所述初始异常检测网络包括嵌入层、编码层、解码层、第一全连接层以及分类层，基于所述训练日志数据集中所述公开日志数据对应的数据，对所述初始异常检测网络进行训练，得到第一预备异常检测网络，包括：对所述训练日志数据集中的所述公开日志数据对应的所述序列依次输入所述嵌入层、所述编码层、所述解码层以及所述第一全连接层，得到全连接向量；将所述全连接向量与对应所述情感分数的乘积输入所述分类层，输出异常判断结果以完成训练，训练后的所述嵌入层、训练后的所述编码层、训练后的所述解码层、训练后的所述第一全连接层以及训练后的所述分类层，构成所述第一预备异常检测网络，所述第一预备异常检测网络的损失函数为交叉熵损失函数。
[0010]可选地，基于所述训练日志数据集中所述目标历史日志数据对应的数据，网络对所述第一预备异常检测网络进行训练，得到所述目标异常检测网络，包括：将所述第一预备异常检测网络中的所述分类层替换为第二全连接层和输出层，并将所述交叉熵损失函数替换为hyperspherical损失函数，得到第二预备异常检测网络；根据所述训练日志数据集中所述目标历史日志数据对应的数据，对所述第二预备异常检测网络进行训练，得到所述目标异常检测网络。
[0011]可选地，获取公开日志数据，包括：获取关键词，所述关键词包括日志异常、日志指令、Log
‑
based Anomaly中至少之一；根据所述关键词，搜集所述公开网站的所述公开日志数据。
[0012]根据本申请的另一方面，提供了一种基于日志的异常检测装置，包括获取单元、处理单元、训练单元以及检测单元，其中，所述获取单元用于获取初始日志数据，所述初始日志数据包括公开日志数据和目标历史日志数据，所述公开日志数据为从公开网站上获取到的与日志异常检测相关的日志数据，所述目标历史日志数据为目标系统的历史日志数据；所述处理单元用于对所述初始日志数据进行数据预处理，得到训练日志数据集；所述训练
单元用于基于所述训练日志数据集对初始异常检测网络进行训练，得到所述目标系统的目标异常检测网络；所述检测单元用于获取所述目标系统的当前日志数据，并采用所述目标异常检测网络对所述当前日志数据进行异常检测。
[0013]根据本申请的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任一种所述的基于日志的异常检测本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于日志的异常检测方法，其特征在于，包括：获取初始日志数据，所述初始日志数据包括公开日志数据和目标历史日志数据，所述公开日志数据为从公开网站上获取到的与日志异常检测相关的日志数据，所述目标历史日志数据为目标系统的历史日志数据；对所述初始日志数据进行数据预处理，得到训练日志数据集；基于所述训练日志数据集对初始异常检测网络进行训练，得到所述目标系统的目标异常检测网络；获取所述目标系统的当前日志数据，并采用所述目标异常检测网络对所述当前日志数据进行异常检测。2.根据权利要求1所述的方法，其特征在于，基于所述训练日志数据集对初始异常检测网络进行训练，得到所述目标系统的目标异常检测网络，包括：基于所述训练日志数据集中所述公开日志数据对应的数据，对所述初始异常检测网络进行训练，得到第一预备异常检测网络；基于所述训练日志数据集中所述目标历史日志数据对应的数据，对所述第一预备异常检测网络进行训练，得到所述目标异常检测网络。3.根据权利要求2所述的方法，其特征在于，对所述初始日志数据进行数据预处理，得到训练日志数据集，包括：对所述初始日志数据进行文本预处理，使得所述初始日志数据的内容格式统一；确定所述内容格式统一后的所述初始日志数据的日志级别；生成所述初始日志数据的序列，得到所述序列与对应的所述日志级别的对应关系，形成标签数据；采用预训练的情感分析模型对所述序列进行打分，得到对应的情感分数，所述标签数据和对应的所述情感分数形成所述训练日志数据集。4.根据权利要求3所述的方法，其特征在于，采用预训练的情感分析模型对所述序列进行打分，得到对应的情感分数，包括：将所述序列输入所述预训练的情感分析模型中，得到所述序列对应的不同类别的情感标签的打分，所述情感标签包括积极、中立以及消极；获取不同类别的所述情感标签对应的权重系数；确定所述情感分数为Q＝α*P+β*M+θ*N，其中，α为所述情感标签为所述积极时对应的所述权重系数，β为所述情感标签为所述中立时对应的所述权重系数，θ为所述情感标签为所述消极时对应的所述权重系数，P为所述情感标签为所述积极时对应的打分，M为所述情感标签为所述中立时对应的打分，N为所述情感标签为所述消极时对应的打分。5.根据权利要求3所述的方法，其特征在于，所述初始异常检测网络包括嵌入层、编码层、解码层、第一全连接层以及分类层，基于所述训练日志数据集中所述公开日志数据对应的数据，对所述初始异常检测网络进行训练，得到第一预备异常检测网络，包括：对所述训练...
【专利技术属性】
技术研发人员：张志鹏，刘畅，袁佳，范靖，张云锋，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。