基于日志通用性规则引擎的日志统计与分析系统及方法技术方案

本发明专利技术公开了一种基于日志通用性规则引擎的日志统计与分析系统，根据不同来源的日志，可以根据预处理后的结构化数据进行特征字段进行处理，可以灵活的配置用户需要的统计规则和指令规则，以及过滤规则；统计规则单条独立，指令规则实际应用较为广泛的是组合规则集，应用组合规则集处理日志数据，能够处理不同日志源数据的结果，通过规则负载均衡模块处理，将统计规则和指令分发到不同的进程或线程处理，负载均衡支持水平横向扩展，保证日志数据处理能力，较大地提升稳定性和处理日志的性能。

【技术实现步骤摘要】
基于日志通用性规则引擎的日志统计与分析系统及方法
本专利技术涉及规则设计、规则解析和日志数据
，特别涉及基于日志通用性规则引擎的日志统计与分析系统及方法。
技术介绍
随着大数据时代的到来和进入业务与安全并行的时代，企业和公司已经高度重视各自业务发展的同时，如何优化调整业务资源配置、业务结构和保证业务安全可靠的运行，已然成为了企业内部的重中之重。目前，企业开始利用自己的日志数据进行统计和分析，但企业往往是多业务并行，老业务稳定市场，新业务开拓市场。但往往因为业务的独特性，一个特定类的日志统计和分析系统已经不能满足企业用户的核心需求。为了满足企业用户的这个需求，基于日志通用规则引擎的离线日志统计和分析系统应运而生。
技术实现思路
本专利技术的目的是基于上述
技术介绍
，提供基于日志通用性规则引擎的日志统计与分析系统及方法，可实现企业采用一个日志统计与分析系统，便可设定每类日志的规则轻松统计和分析出各类日志的相关数据。为了达到上述的技术效果，本专利技术采取以下技术方案：基于日志通用性规则引擎的日志统计与分析系统，包含日志配置模块、日志配置解析模块、规则负载均衡模块、日志源收集存储模块、日志标准化模块、日志丰富化模块、日志处理模块、日志告警模块及日志统计模块；所述日志配置模块用于解析不同日志的相关配置信息并对每类日志进行统计需要配置化及分析需要配置化；所述日志配置解析模块用于对配置的日志统计规则和指令进行解析，并对日志格式配置进行解析处理，其主要对配置的日志统计规则和指令(规则)进行解析，同时也对日志格式配置进行解析处理，解析后的规则配置加载到规则引擎内存中；所述规则负载均衡模块用于接纳多个日志源数据并进行处理及对配置的规则进行多进程或多线程分发，即可以接纳多个日志源数据进行处理，每个日志源的规则配置可以灵活的配置，因此这种情况下实际上规则配置量在一定程度上会浮动，为了减少引擎处理规则日志时耗费过多时间，特别地设计规则负载均衡模块进行处理，对配置的规则进行多进程或多线程分发，保证规则均衡分发；所述日志源收集存储模块用于对日志源进行收集并存储；所述日志标准化模块用于对日志源收集存储模块收集的日志数据类型进行结构化处理并最终生成规则引擎能够处理的数据类型，即对收集的日志数据类型进行结构化处理，最终生成规则引擎能够处理的数据类型，从日志存储消息队列中进行读取，例如对文本类型的日志数据进行正则提取响应的特征字段这特征值，进行后续的丰富化处理。还有标准化对数据脱敏、时间格式处理等；所述日志丰富化模块用于对日志中的特征进行丰富化处理，日志中有很多特征需要进行丰富化处理，且这些丰富化依赖于日志类型，和日志类型可丰富化的特征数量；所述日志处理模块用于设计统计规则、指令规则来处理日志数据，对于统计规则，若已经设定了过滤规则，则优先进行过滤规则处理，然后再通过统计规则匹配表达式进行处理，聚合计算出结果；对于指令规则，除了过滤规则处理和匹配表达式进行处理外，还需要通过研判表达式进行研判，只有当所有规则集中的所有研判条件研判成功后才会触发指令；所述日志告警模块用于收集所有的告警数据并做告警逻辑优化处理，及对告警数据记录入库，其主要是规则指令部分使用，当规则指令的规则集全部触发后，指令将进行告警，该模块将把所有的告警数据收集起来，做告警逻辑优化处理，对真正告警的数据将记录入库；所述日志统计模块用于收集日志处理模块中的统计数据，并对统计数据进行优化处理，最后将统计数据写入数据库。进一步地，所述日志配置模块至少包含日志格式配置单元、统计规则配置单元、指令规则与指令配置单元；所述日志格式配置单元用于解析系统运行过程中不同日志的相关配置信息，统计规则配置单元用于对每类日志进行统计规则的配置，其中，每个统计规则都可以统计该类日志的一个独特的统计项，指令规则与指令配置单元用于对每类日志进行指令规则的配置及指令配置，其中，每个指令规则都可以分析该类日志的一个独特的分析项。进一步地，所述日志格式配置单元解析的不同日志的相关配置信息至少包含：日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段、系统分析处理时间窗口解析的时间字段、日志中解析或存储配置数据；在系统运行过程中，需要用到解析不同日志的相关配置信息，这些信息包括日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段如IP、系统分析处理时间窗口解析的时间字段、日志中解析或存储的一些配置，这些配置将为通用型规则引擎解析处理时做相应的适配，保证通用型规则引擎能解析统计和分析不同的日志数据；和/或所述统计规则至少包含统计算法、统计别名、统计规则表达式、统计时间窗口、过滤规则表达式、统计字段；统计规则的配置即对每类日志进行统计需要配置化，每个统计规则可以统计该类日志的一个独特的统计项；和/或所述指令规则至少包含规则别名、指令规则表达式、时间窗口、过滤规则表达式；和/或所述指令配置中配置的指令至少包含指令规则集、告警截止时间、告警周期、告警最大次数、指令别名，指令规则的配置即对每类日志进行分析需要配置化，每个指令规则可以分析该类日志的一个独特的分析项。进一步地，所述日志源收集存储模块具体是采用日志收集插件进行日志源收集，和/或所述日志源收集存储模块存储日志源时是采用消息队列进行存储。进一步地，所述日志丰富化模块对日志中的特征进行丰富化处理时至少包含IP丰富化处理、情报数据处理、黑白名单标签处理。进一步地，所述日志处理模块还可设计过滤规则，且日志处理模块在运用统计规则处理日志数据时，若已经设定了过滤规则，则优先进行过滤规则处理，然后再通过统计规则匹配表达式进行处理并聚合计算出结果。同时，本专利技术还公开了一种基于日志通用性规则引擎的日志统计与分析方法，具体包含以下步骤：日志源收集及存储步骤：进行日志源收集与存储，并将存储的日志源数据提供给日志标准化处理步骤进行处理；日志格式配置步骤：设定日志数据进行格式化配置，并提供给日志格式验证步骤；日志格式验证步骤：接收日志格式配置步骤中的日志格式配置并对其做格式验证，并最终加载至日志标准化处理步骤；日志标准化处理步骤：加载经日志格式验证步骤验证后的日志格式配置，从存储的日志源数据中读取响应的日志数据进行标准化处理，将处理后的日志数据提供给日志丰富化步骤：；日志丰富化步骤：接收经日志标准化处理步骤处理的日志并进行丰富化处理，将处理后的日志数据提供给日志处理步骤；日志规则配置步骤：设定统计规则的配置项；统计规则解析步骤：解析经日志规则配置步骤配置的统计规则；统计规则负载均衡步骤：接收统计规则解析步骤中解析的统计规则，并通过负载均衡分发到日志处理步骤的各个进程或线程中去；指令规则配置步骤：设定指令规则的相关配置以及指令规则集；指令规则解析步骤：解析指令规则配置步骤设定的指令规则集的指令；指令负载均衡步骤：接收指令规则解析步骤解析的指令，并将指令负载均衡处理后分发到日志处理步骤的各个进程和线程中去；日志处理步骤：初始化统计规则负载均衡步骤中负载均衡分发的统计规则和指令负载均衡步骤中负载均衡分发的指令，并接收经日志丰富化步骤丰富化的日志，将丰富化的日志引入过滤规则处理步骤；本文档来自技高网...

【技术保护点】
1.基于日志通用性规则引擎的日志统计与分析系统，其特征在于，包含日志配置模块、日志配置解析模块、规则负载均衡模块、日志源收集存储模块、日志标准化模块、日志丰富化模块、日志处理模块、日志告警模块及日志统计模块；所述日志配置模块用于解析不同日志的相关配置信息并对每类日志进行统计需要配置化及分析需要配置化；所述日志配置解析模块用于对配置的日志统计规则和指令进行解析，并对日志格式配置进行解析处理；所述规则负载均衡模块用于接纳多个日志源数据并进行处理及对配置的规则进行多进程或多线程分发；所述日志源收集存储模块用于对日志源进行收集并存储；所述日志标准化模块用于对日志源收集存储模块收集的日志数据类型进行结构化处理并最终生成规则引擎能够处理的数据类型；所述日志丰富化模块用于对日志中的特征进行丰富化处理；所述日志处理模块用于设计统计规则、指令规则来处理日志数据；所述日志告警模块用于收集所有的告警数据并做告警逻辑优化处理，及对告警数据记录入库；所述日志统计模块用于收集日志处理模块中的统计数据，并对统计数据进行优化处理，最后将统计数据写入数据库。

【技术特征摘要】
1.基于日志通用性规则引擎的日志统计与分析系统，其特征在于，包含日志配置模块、日志配置解析模块、规则负载均衡模块、日志源收集存储模块、日志标准化模块、日志丰富化模块、日志处理模块、日志告警模块及日志统计模块；所述日志配置模块用于解析不同日志的相关配置信息并对每类日志进行统计需要配置化及分析需要配置化；所述日志配置解析模块用于对配置的日志统计规则和指令进行解析，并对日志格式配置进行解析处理；所述规则负载均衡模块用于接纳多个日志源数据并进行处理及对配置的规则进行多进程或多线程分发；所述日志源收集存储模块用于对日志源进行收集并存储；所述日志标准化模块用于对日志源收集存储模块收集的日志数据类型进行结构化处理并最终生成规则引擎能够处理的数据类型；所述日志丰富化模块用于对日志中的特征进行丰富化处理；所述日志处理模块用于设计统计规则、指令规则来处理日志数据；所述日志告警模块用于收集所有的告警数据并做告警逻辑优化处理，及对告警数据记录入库；所述日志统计模块用于收集日志处理模块中的统计数据，并对统计数据进行优化处理，最后将统计数据写入数据库。2.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志配置模块至少包含日志格式配置单元、统计规则配置单元、指令规则与指令配置单元；所述日志格式配置单元用于解析系统运行过程中不同日志的相关配置信息，统计规则配置单元用于对每类日志进行统计规则的配置，其中，每个统计规则都可以统计该类日志的一个独特的统计项，指令规则与指令配置单元用于对每类日志进行指令规则的配置及指令配置，其中，每个指令规则都可以分析该类日志的一个独特的分析项。3.根据权利要求2所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志格式配置单元解析的不同日志的相关配置信息至少包含：日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段、系统分析处理时间窗口解析的时间字段、日志中解析或存储配置数据；和/或所述统计规则至少包含统计算法、统计别名、统计规则表达式、统计时间窗口、过滤规则表达式、统计字段；和/或所述指令规则至少包含规则别名、指令规则表达式、时间窗口、过滤规则表达式；和/或所述指令配置中配置的指令至少包含指令规则集、告警截止时间、告警周期、告警最大次数、指令别名。4.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志源收集存储模块具体是采用日志收集插件进行日志源收集，和/或所述日志源收集存储模块存储日志源时是采用消息队列进行存储。5.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统...

【专利技术属性】
技术研发人员：李成东，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51