一种日志解析方法、系统、电子设备及存储介质技术方案

本申请公开了一种日志解析方法，应用于分布式计算平台，包括：根据Raft协议确定所述分布式计算平台中每一计算节点的节点角色；根据所述计算节点的节点角色对日志解析规则进行一致性同步，以使所有所述计算节点对应的日志解析规则相同；若接收到日志数据，则将所述日志数据分发至所述计算节点；其中，所述计算节点中存储有预编译的日志解析规则；控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作。本申请能够在保证日志解析规则一致性的前提下，降低日志解析操作的性能消耗。本申请还公开了一种日志解析系统、一种电子设备及一种存储介质，具有以上有益效果。具有以上有益效果。具有以上有益效果。

【技术实现步骤摘要】
一种日志解析方法、系统、电子设备及存储介质


[0001]本申请涉及日志审计
，特别涉及一种日志解析方法、系统、电子设备及存储介质。

技术介绍

[0002]传统单机日志审计设备由于无法进行动态扩展，单机流量处理有性能上限，导致大型流量业务无法有效支撑，经常出现设备宕机、数据丢失等问题，严重影响企业的安全运维和正常生产工作。相关技术中，使用Flink、Spark、MapReduce等基于分布式计算平台实现了分布式的日志审计的方案，但是上述分布式计算平台使用的通用计算框架不适用于日志解析业务，当数据量剧增时处理性能问题都比较明显，并且底层代码复杂，优化也比较困难。
[0003]因此，如何在保证日志解析规则一致性的前提下，降低日志解析操作的性能消耗是本领域技术人员目前需要解决的技术问题。

技术实现思路

[0004]本申请的目的是提供一种日志解析方法、系统、电子设备及存储介质，能够在保证日志解析规则一致性的前提下，降低日志解析操作的性能消耗。
[0005]为解决上述技术问题，本申请提供一种日志解析方法，应用于分布式计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志解析方法，其特征在于，应用于分布式计算平台，包括：根据Raft协议确定所述分布式计算平台中每一计算节点的节点角色；根据所述计算节点的节点角色对日志解析规则进行一致性同步，以使所有所述计算节点对应的日志解析规则相同；若接收到日志数据，则将所述日志数据分发至所述计算节点；其中，所述计算节点中存储有预编译的日志解析规则；控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作。2.根据权利要求1所述日志解析方法，其特征在于，将所述日志数据分发至所述计算节点，包括：按照日志种类划分规则对所述日志数据进行划分，得到多个种类的子数据；确定所述计算节点与日志种类的对应关系，并根据所述计算节点与所述日志种类的对应关系将所述子数据分发至对应的计算节点。3.根据权利要求2所述日志解析方法，其特征在于，在控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作之前，还包括：确定每一所述计算节点对应的日志种类，根据日志种类与日志解析规则的对应关系在所述计算节点中预编译对应的日志解析规则，并将预编译结果存储至所述计算节点。4.根据权利要求2所述日志解析方法，其特征在于，将所述日志数据分发至所述计算节点之后，还包括：判断所述计算节点的业务压力是否大于预设压力；若是，则所述计算节点接收到的日志数据分配给所述计算节点的关联节点；其中，所述关联节点与所述计算节点对应的日志种类相同。5.根据权利要求1所述日志解析方法，其特征在于，所述节点角色包括领导节点、从属节点和候选节点；相应的，根据所述计算节点的节点角色对日志解析规则进行一致性同步，包括：将所述领导节点的LRU队列中存储的规则标识增量...

【专利技术属性】
技术研发人员：洪晨港，范渊，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：