一种获取日志规则的数据处理系统技术方案

本发明专利技术提供了一种获取日志规则的数据处理系统，系统包括数据库、处理器和存储有计算机程序的存储器，当计算机程序被处理器执行时，实现以下步骤：获取第二日志规则标识号列表和第三日志规则标识号列表；获取第二日志规则对应的关键日志规则；获取第三日志规则对应的关键日志规则列表；构建关键日志规则列表；可知，本发明专利技术，一方面，基于规则中匹配规则，删除重复规则，避免对日志同一异常情况进行重复统计，进而提高获取日志规则的效率，另一方面，将同一规则拆分成多个规则，有利于规则细则化，进而提高日志分析结果的准确性。进而提高日志分析结果的准确性。进而提高日志分析结果的准确性。

【技术实现步骤摘要】
一种获取日志规则的数据处理系统


[0001]本专利技术涉及日志处理
，特别是涉及一种获取日志规则的数据处理系统。

技术介绍

[0002]现有的获取日志规则的方法为：从系统中获取日志的信息，信息包括：日志的存储路径、日志数据量等基本信息，对获取到的日志信息进行处理，获取处理结果，根据处理结果，生成日志对应的日志规则，并根据日志规则对日志进行解析。
[0003]但上述方法也存在以下技术问题：
[0004]当日志的信息量较大时，系统生成日志规则的效率较低，并且，系统生成的日志规则不够精细，进而根日志规则对日志进行分析时会降低日志分析结果的准确性。

技术实现思路

[0005]针对上述技术问题，本专利技术采用的技术方案为：
[0006]一种获取日志规则的数据处理系统，系统包括数据库、处理器和存储有计算机程序的存储器，其中，数据库包括：预设日志规则ID列表，预设日志规则ID对应的预设日志规则，当计算机程序被处理器执行时，实现以下步骤：
[0007]S100、根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表。
[0008]S200、根据所述第二日志规则ID列表，所述第二日志规则ID列表中获取所述第二日志规则对应的关键日志规则。
[0009]S300、根据所述第三日志规则ID列表，所述第三日志规则ID列表中获取所述第三日志规则对应的关键日志规则列表。
[0010]S400、根据所述第二日志规则对应的关键日志规则和所述第三日志规则对应的关键日志规则列表，构建关键日志规则列表。
[0011]本专利技术至少具有以下有益效果：
[0012]本专利技术提供了一种获取日志规则的数据处理系统，系统包括数据库、处理器和存储有计算机程序的存储器，当计算机程序被处理器执行时，实现以下步骤：获取第二日志规则ID列表和第三日志规则ID列表；获取第二日志规则对应的关键日志规则；获取第三日志规则对应的关键日志规则列表；构建关键日志规则列表；可知，本专利技术，一方面，基于规则中匹配规则，删除重复规则，避免对日志同一异常情况进行重复统计，进而提高获取日志规则的效率，另一方面，将同一规则拆分成多个规则，有利于规则细则化，进而提高日志分析结果的准确性。
附图说明
[0013]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术实施例提供的一种获取日志规则的数据处理系统执行计算机程序的流程图。
具体实施方式
[0015]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
[0017]本专利技术提供了一种获取日志规则的数据处理系统，系统包括数据库、处理器和存储有计算机程序的存储器，其中，数据库包括：预设日志规则ID列表，预设日志规则ID对应的预设日志规则，当计算机程序被处理器执行时，实现以下步骤，如图1所示：
[0018]S100、根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表。
[0019]具体地，在S100步骤中还包括如下步骤：
[0020]S101，获取第一中间日志规则对应的第一相似度集F
i
＝{F
i1
，F
i2
，
……
，F
ij
，
……
，F
in
}。
[0021]具体地，在S101步骤中，还包括如下步骤：
[0022]S1011，获取预设日志规则ID列表和每一预设日志规则ID对应的预设日志规则。
[0023]具体地，所述预设日志规则ID为预设日志规则的唯一身份标识；例如，所述预设日志规则ID为预设日志规则对应的名称。
[0024]进一步地，所述预设日志规则表征为用于对设备日志进行分析的预先设置的分析规则。
[0025]S1013，根据所述预设日志规则ID列表，获取第一中间日志规则ID和第一中间日志规则ID对应的第二中间日志规则ID列表，其中，所述第二中间日志规则ID列表包括若干个第二中间日志规则ID。
[0026]具体地，在所述预设日志规则ID列表中随机选取任一预设日志规则ID作为第一中间日志规则ID。
[0027]具体地，在所述预设日志规则ID列表中除第一中间日志规则ID之外的其他任一预设日志规则ID作为第二中间日志规则ID。
[0028]S1015，根据第一中间日志规则ID，获取第一中间日志规则ID对应的第一中间日志
规则。
[0029]S1017，根据所述第二中间日志规则ID列表，获取所述第二中间日志规则ID列表对应的第二中间日志规则列表。
[0030]S1019，根据所述第一中间日志规则和所述第二中间日志规则列表，获取第一中间日志规则对应的第一相似度集F
i
。
[0031]上述，能够通过所述第一中间日志规则和所述第二中间日志规则列表，将重复的规则进行排查，避免对日志同一异常情况进行重复统计，进而提高效率。
[0032]具体地，在S1019中还包括如下步骤：
[0033]S10191、根据所述第一中间日志规则，获取所述第一中间日志规则对应的第一子规则ID列表A＝{A1，A2，
……
，A
i
，
……
，A
m
}和A对应的第一子规则向量列表A0＝{A
01
，A
02
，
……
，A
0i
，
……
，A
0m
}，A
i
为第i个第一子规则ID，A
0i
为A
i
对应的第一规则向量，i＝1，2，
……
，m，m为第一子规则ID的数量。
[0034]具体地，所述第一子规则ID为第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取日志规则的数据处理系统，其特征在于，所述系统包括数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括：预设日志规则ID列表，预设日志规则ID对应的预设日志规则，当所述计算机程序被处理器执行时，实现以下步骤：S100、根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表；S200、根据所述第二日志规则ID列表，所述第二日志规则ID列表中获取所述第二日志规则对应的关键日志规则；S300、根据所述第三日志规则ID列表，所述第三日志规则ID列表中获取所述第三日志规则对应的关键日志规则列表；S400、根据所述第二日志规则对应的关键日志规则和所述第三日志规则对应的关键日志规则列表，构建关键日志规则列表。2.根据权利要求1所述的获取日志规则的数据处理系统，其特征在于，在S100步骤中包括如下步骤：S101，获取第一中间日志规则对应的第一相似度集F
i
＝{F
i1
，F
i2
，
……
，F
ij
，
……
，F
in
}；S103，当F
ij
＝K0时，将B
j
作为第二中间日志规则ID作为第二日志规则ID，其中，K0为预设的相似度阈值；S105，当F
ij
≠K0时，将A作为第一中间日志规则ID作为第三日志规则ID。3.根据权利要求1所述的获取日志规则的数据处理系统，其特征在于，在S101步骤中包括如下步骤：S1011，获取预设日志规则ID列表和每一预设日志规则ID对应的预设日志规则；S1013，根据所述预设日志规则ID列表，获取第一中间日志规则ID和第一中间日志规则ID对应的第二中间日志规则ID列表，其中，所述第二中间日志规则ID列表包括若干个第二中间日志规则ID；S1015，根据第一中间日志规则ID，获取第一中间日志规则ID对应的第一中间日志规则；S1017，根据所述第二中间日志规则ID列表，获取所述第二中间日志规则ID列表对应的第二中间日志规则列表；S1019，根据所述第一中间日志规则和所述第二中间日志规则列表，获取第一中间日志规则对应的第一相似度集F
i
。4.根据权利要求3所述的获取日志规则的数据处理系统，其特征在于，在S1019步骤中包括如下步骤：S10191、根据所述第一中间日志规则，获取所述第一中间日志规则对应的第一子规则ID列表A＝{A1，A2，
……
，A
i
，
……
，A
m
}和A对应的第一子规则向量列表A0＝{A
01
，A
02
，
……
，A
0i
，
……
，A
0m
}，A
i
为第i个第一子规则ID，A
0i
为A
i
对应的第一规则向量，i＝1，2，
……
，m，m为第一子规则ID的数量；S10193，根据所述第二中间日志规则列表，获取所述第二中间日志规则列表对应的第二子规则ID集B＝{B1，B2，
……
，B
j
，
……
，B
n
}，B
j
＝{B
j1
，B
j2
，
……
，B
ji
，
……
，B
jm
}，B
ji
为第j个第二中间日志规则对应的第i个第二子规则ID；S10195，根据B，获取B对应的第二子规则向量集B0＝{B
01
，B
02
，
……
，B
0j
，
……
，B
0n
}，B
0j
＝{B
0j1
，B
0j2
，
……
，B
0ji
，
……
，B
0jm
}，B
0ji
为B
ji
对应的第二规则向量；
S10197，遍历A且当A
i
＝A'时，获取A
0i
和B'＝{B
01i
，B
02i
，
……
，B
0ji
，
……
，B
0ni
}；其中，A'为预设的子规则ID；S10199，根据A
0i
和B'，获取A
0i
对应的第一相似度集F
i
＝{F
i1
，F
i2
，
……
，F
ij
，
……
，F
in
}，F
ij
为A
0i
和B
0ji
之间的第一相似度；其中，F
ij
符合如下条件：其中，GA
0μi
为A
0i
对应的规则向量中第μ位的bit值，GA
0μji
为B
0ji
对应的规则向量中第μ位的bit值，μ＝1
……
φ，φ为规则向量的位数。5.根据权利要求1所述的获取日志规则的数据处理系统，其特征在于，在S200步骤中包括如下步骤：S201，在预设时间段内，获取第二日志规则ID对应的初始日志集D＝{D1，D2，
……
，D
r
，
……
，D
s
}，D
r
＝{D
r1
，D
r2
，
……
，D
rg
，
……
，D
rz(r)
}，D
rg
为第二日志规则ID的第r类目标设备对应的第g个初始日志，r＝1，2，
……
，s，s为目标设备的类型数量，g＝1，2
……
，z(r)，z(r)为第r类目标设备对应的初始日志的数量；S203，根据所述预设时间段，获取所述预设时间段对应的第一时间列表T＝{T1，T2，
……
，T
x
，
……
，T
p
}，T
x
为在预设时间段内的第x个第一时间片，x＝1，2，
……
，p，p为在所述预设时间段内的第一时间片的数量；S205，在预设时间段内，获取D对应的日志获取时间列表TD＝{TD1，TD2，
……
，TD
r
，
……
，TD
s
}，TD
r
＝{TD
r1
，TD
r2
，
……
，TD
rg
，
……
，TD
rz(r)
}，TD
rg
为D
rg
对应的日志获取时间；S207，根据T和TD，获取T对应的第一日志数量列表SL＝{SL1，SL2，
……
，SL
r

【专利技术属性】
技术研发人员：武方，苗维杰，
申请(专利权)人：杭州中电安科现代科技有限公司，
类型：发明
国别省市：