基于动态字段模板的日志解析方法及系统技术方案

一种基于动态字段的日志解析方法和系统，利用记录日志字段名和字段位置顺序的动态字段模板对日志进行解析，并且通过比较解析出的字段内容与模板中该字段内容的长度，自动发现待解析日志格式与已有模板之间的字段变化，进而通过激活人机交互界面补入新字段，对模板进行动态更新，从而使这种解析方法能够自动适应日志格式在字段顺序、字段个数、字段内容格式变化等方面的变化，并且无需再编写正则表达式，为前端工程师降低了SOC产品的工程实施门槛。

【技术实现步骤摘要】
基于动态字段模板的日志解析方法及系统
本专利技术涉及计算机信息
，特别涉及一种大规模网络环境中的安全日志分析方法和系统。
技术介绍
安全运维中心(SecurityOperationsCenter,SOC)是一种通过监测和分析安全设备、系统、软件日志实现对所监测的网络的安全事件、安全告警进行管理的系统和设备。SOC的核心功能是对日志的采集和解析处理。日志的解析是指对原始日志进行字段分割，并将从日志中提取的字段内容存储到对应的SOC系统预定义的字段中。由于SOC采集的日志来源于不同的软硬件系统，而这些软硬件系统又是由不同厂家提供的，且随着IT技术的快速发展也在不断的更新和升级，因此SOC采集到的原始日志数据往往都不具有通用的统一规范格式。这些日志是无法直接被解析和存储到数据库里，也无法直接被分析模块进行分析。通常的解决方法是针对每个不同型号的设备和不同版本的软件或系统的日志编写复杂的正则表达式，来对该格式的日志提供解析能力。具体过程包括：首先按照日志样本编写与日志整体格式匹配的日志识别用正则表达式，其次根据预定义的字段内容在日本文档来自技高网...

【技术保护点】
1.一种基于动态字段模板的日志解析方法，其特征在于，包括以下步骤：/n从已有的动态字段模板集合中，寻找与待解析日志在字段名称和位置顺序方面匹配度最高且满足阈值要求的模板，其中，所述动态字段模板用于记录日志文件中包含的字段名称和位置顺序，以表示日志的格式；/n基于寻找到的模板中的字段在待解析日志中的匹配位置，对待解析日志进行字段分割和内容提取；/n如果有分割出的字段内容长度大于门限值，则通过人机交互在当前模板中补充录入新的字段对当前模板进行更新，并利用更新后的模板对待解析日志进行进一步解析；/n如果找不到匹配度满足阈值要求的模板，则通过人机交互录入待解析日志中的字段，生成新的动态字段模板，利用该...

【技术特征摘要】
1.一种基于动态字段模板的日志解析方法，其特征在于，包括以下步骤：
从已有的动态字段模板集合中，寻找与待解析日志在字段名称和位置顺序方面匹配度最高且满足阈值要求的模板，其中，所述动态字段模板用于记录日志文件中包含的字段名称和位置顺序，以表示日志的格式；
基于寻找到的模板中的字段在待解析日志中的匹配位置，对待解析日志进行字段分割和内容提取；
如果有分割出的字段内容长度大于门限值，则通过人机交互在当前模板中补充录入新的字段对当前模板进行更新，并利用更新后的模板对待解析日志进行进一步解析；
如果找不到匹配度满足阈值要求的模板，则通过人机交互录入待解析日志中的字段，生成新的动态字段模板，利用该模板对所述待解析日志进行解析。


2.根据权利要求1所述的日志解析方法，其特征在于，所述从已有的动态字段模板集合中，寻找与待解析日志在字段名称和位置顺序方面匹配度最高且满足阈值要求的模板，包括以下步骤：
逐条取得已有动态字段模板集合中的每一条模板；
根据当前模板与待解析日志所包含的字段名称和位置顺序的一致程度，对其匹配度进行计算；
找出所述集合中匹配度最高的一个模板；
判断匹配度值是否满足所述阈值要求，如果是，则该模板即为所述匹配度最高且满足阈值要求的模板。


3.根据权利要求2所述的日志解析方法，其特征在于，所述根据当前模板与待解析日志所包含的字段名称和位置顺序的一致程度，对其匹配度进行计算，包括以下步骤；
字段名存在检测：从当前模板里逐条取得每个字段名，在待解析日志中检测是否存在该字段名，若存在则记录其位于待解析日志中的位置；
字段顺序匹配：将已检测到的字段名在待解析日志中的位置顺序进行排序，对比当前模板中的字段名顺序，判断每个字段出现的先后顺序是否符合当前模板中的字段顺序；
所述匹配度基于以上字段名存在检测的结果和字段顺序匹配的结果进行计算。


4.根据权利要求3所述的日志解析方法，其特征在于，所述匹配度的计算基于如下公式：
匹配度＝∑(α×所述字段名存在检测结果+β×所述字段顺序匹配结果)/待解析日志字段数，
其中，α、β为可配置参数，α≥0.5，α+β＝1。


5.根据权利要求2所述的日志解析方法，其特征在于，在所述根据当前模板与待解析日志所包含的字段名称和位置顺序的一致程度，对其匹配度进行计算的步骤之前，还包括：对当前模板与待解析日志进行初筛匹配计算的步骤；
只有初筛匹配成功的模板，才转入所述对其匹配度进行计算的步骤。


6.根据权利要求5所述的日志解析方法，其特征在于，所述初筛匹配计算的方法包括以下步骤：
将最高优先级的字段和/或顺序不可变的字段作为日志的初筛匹配标识；
对当前模板与待解析日志的初筛匹配标识进行匹配计算；
如果所述匹配计算结果超过一定值，认为初筛匹配成功。


7.根据权利要求...

【专利技术属性】
技术研发人员：李陟，
申请(专利权)人：北京启明星辰信息安全技术有限公司，启明星辰信息技术集团股份有限公司，
类型：发明
国别省市：北京;11