一种网络日志的解析方法技术

本申请公开一种网络日志的解析方法

【技术实现步骤摘要】
一种网络日志的解析方法、装置、设备及存储介质


[0001]本申请涉及网络安全
，尤其涉及一种网络日志的解析方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]现代软硬件系统通常会在日志中记录有价值的运行时信息，
(
例如，重要事件和相关变量
)
，同时也包含了诊断网络或系统异常的一些最重要的信息
。
当网络或系统发生异常，日志消息通常用于更复杂的向下钻取的过程，在这些过程中，运维人员会检查问题的根本原因，并决定他们应该做些什么来从故障中恢复
。
[0003]其中，日志是通过在源代码中的日志记录语句生成的
。
在系统运行期间，日志语句将生成原始日志消息，这是一行非结构化文本，其中包含静态文本和日志语句中指定的动态变量
(
例如“blk_7526945448667194862”)
的值
。
日志消息还包含诸如事件发生时间
(
例如，“081109210637”)
等信息
。
换句话说，日志记录语句为在运行时生成的日志消息定义了日志事件
。
日志解析的目标是将静态日志事件
、
动态变量和头信息
(
即时间戳
、
日志级别和日志器名称
)。
目前的日志解析方法通常使用正则集较多，但伴随越来越多的特殊场景出现，正则集自身的局限性越发凸显，因此需要一种更加高效
、
可靠的日志解析方法
。

技术实现思路

[0004]本申请提供一种网络日志的解析方法
、
装置
、
设备及存储介质，能够提高日志的解析效率和准确率
。
[0005]为达到上述目的，本申请采用如下技术方案：
[0006]本申请实施例第一方面，提供了一种网络日志的解析方法，该方法包括：
[0007]获取当前周期的样本数据，所述样本数据包括多个原始日志
、
各所述原始日志对应的标签信息以及各所述标签信息的权重；
[0008]在预设条件下，获取初始日志解析模型，并利用所述样本数据训练所述初始日志解析模型，直至所述初始日志解析模型的日志解析精度大于预设阈值，则得到所述初始日志解析模型的更新模型；
[0009]将所述更新模型与上一周期的融合模型进行模型融合，得到当前周期的融合模型，并利用所述当前周期的混合模型对下一周期的原始日志进行解析
。
[0010]在一种可能的实现方式中，所述获取样本集包括：
[0011]依次获取原始日志，对各所述原始日志进行正则解析；
[0012]若对所述原始日志进行正则解析成功，则根据解析结果对所述原始日志进行标注，得到原始日志对应的标签信息以及所述标签信息对应的权重，并将所述原始日志
、
所述标签信息和所述权重对应添加至所述样本数据中
。
[0013]在一种可能的实现方式中，所述对所述原始日志进行正则解析之后，所述方法还包括：
[0014]若对所述原始日志进行正则解析失败，则将所述原始日志输入至所述当前日志解析模型中，利用所述当前日志解析模型对所述原始日志进行解析；
[0015]若利用所述当前日志解析模型对所述原始日志解析成功，则得到所述原始日志的解析结果
。
[0016]在一种可能的实现方式中，所述利用所述当前日志解析模型对所述第一原始日志进行解析之后，所述方法还包括：
[0017]若利用所述当前日志解析模型对所述原始日志解析失败，则按照预设的解析规则对所述原始日志进行解析，并根据解析结果，对所述原始日志进行标注，得到所述原始日志对应的标签信息以及所述标签信息对应的权重，并将所述原始日志
、
所述标签信息和所述权重对应添加至所述样本数据中
。
[0018]在一种可能的实现方式中，所述获取当前周期的样本数据之后，所述方法还包括：
[0019]对所述样本数据进行去重处理，得到处理后的目标样本数据
。
[0020]在一种可能的实现方式中，所述预设条件包括：
[0021]所述目标样本数据中的新增数据量大于预设新增数据量
、
所述目标样本数据中的新增数据的增长率大于预设增长率
、
调用时长大于预设时长或解析次数大于预设的解析次数；其中，所述调用时长为距离上一次获取所述初始日志解析模型的时长，所述解析次数为所述当前周期按照预设的解析规则解析原始日志的次数
。
[0022]在一种可能的实现方式中，所述获取当前周期的样本数据之前，方法还包括：
[0023]获取第一周期的样本数据，所述样本数据包括多个原始日志
、
各所述原始日志对应的标签信息以及各所述标签信息的权重；
[0024]在预设条件下，获取初始日志解析模型，并利用所述样本数据训练所述初始日志解析模型，直至所述初始日志解析模型的日志解析精度大于预设阈值，则得到所述初始日志解析模型的第一更新模型；
[0025]获取第二周期的样本数据，在所述预设条件下，获取初始日志解析模型，并利用所述样本数据训练所述初始日志解析模型，直至所述初始日志解析模型的日志解析精度大于所述预设阈值，则得到所述初始日志解析模型的第二更新模型；
[0026]将所述第一更新模型与所述第二更新模型进行融合，得到第一融合模型，并在进入下一周期时，将所述第一融合模型作为所述上一周期的融合模型
。
[0027]本申请实施例第二方面，提供了一种网络日志的解析装置，该装置包括：
[0028]获取模块，用于获取当前周期的样本数据，所述样本数据包括多个原始日志
、
各所述原始日志对应的标签信息以及各所述标签信息的权重；
[0029]训练模块，用于在预设条件下，获取初始日志解析模型，并利用所述样本数据训练所述初始日志解析模型，直至所述初始日志解析模型的日志解析精度大于预设阈值，则得到所述初始日志解析模型的更新模型；
[0030]处理模块，用于将所述更新模型与上一周期的融合模型进行模型融合，得到当前周期的融合模型，并利用所述当前周期的混合模型对下一周期的原始日志进行解析
。
[0031]本申请实施例第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现本申请实施例第一方面中的网络日志的解析方法
。
[0032]本申请实施例第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面中所述的网络日志的解析方法
。
[0033]本申请实施例提供的技术方案带来的有益效果至少包括：
[0034]本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种网络日志的解析方法，其特征在于，所述方法包括：获取当前周期的样本数据，所述样本数据包括多个原始日志
、
各所述原始日志对应的标签信息以及各所述标签信息的权重；在预设条件下，获取初始日志解析模型，并利用所述样本数据训练所述初始日志解析模型，直至所述初始日志解析模型的日志解析精度大于预设阈值，则得到所述初始日志解析模型的更新模型；将所述更新模型与上一周期的融合模型进行模型融合，得到当前周期的融合模型，利用所述当前周期的混合模型对下一周期的原始日志进行解析
。2.
根据权利要求1所述的方法，其特征在于，所述获取样本集包括：依次获取原始日志，对各所述原始日志进行正则解析；若对所述原始日志进行正则解析成功，则根据解析结果对所述原始日志进行标注，得到原始日志对应的标签信息以及所述标签信息对应的权重，并将所述原始日志
、
所述标签信息和所述权重对应添加至所述样本数据中
。3.
根据权利要求2所述的方法，其特征在于，所述对所述原始日志进行正则解析之后，所述方法还包括：若对所述原始日志进行正则解析失败，则将所述原始日志输入至所述当前日志解析模型中，利用所述当前日志解析模型对所述原始日志进行解析；若利用所述当前日志解析模型对所述原始日志解析成功，则得到所述原始日志的解析结果
。4.
根据权利要求3所述的方法，其特征在于，所述利用所述当前日志解析模型对所述原始日志进行解析之后，所述方法还包括：若利用所述当前日志解析模型对所述原始日志解析失败，则按照预设的解析规则对所述原始日志进行解析，并根据解析结果，对所述原始日志进行标注，得到所述原始日志对应的标签信息以及所述标签信息对应的权重，并将所述原始日志
、
所述标签信息和所述权重对应添加至所述样本数据中
。5.
根据权利要求2或4所述的方法，其特征在于，所述获取当前周期的样本数据之后，所述方法还包括：对所述样本数据进行去重处理，得到处理后的目标样本数据
。6.
根据权利要求5所述的方法，其特征在于，所述预设条件包括：所述目标样本数据中的新增数据量大于预设新增数据量
、
所述目...

【专利技术属性】
技术研发人员：雷小辉，赵培源，郑玮，马坤，
申请(专利权)人：西安四叶草信息技术有限公司，
类型：发明
国别省市：