一种拥有节点线程级别无冗余计算的分析引擎的分析方法技术

本发明专利技术公开了一种拥有节点线程级别无冗余计算的分析引擎的分析方法，属于信息网络安全分析技术领域。本发明专利技术分析引擎工作原理是策略解析部分将不同外置视角、不同外置过滤特征条件的策略进行解析加载，加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块，在单个节点中，引擎视角归类处理逻辑算法将根据自定义策略中的不同视角字段进行独立逻辑处理，然后对策略中特征过滤条件逻辑处理，分析引擎将该节点分配到的策略的所有群体及个体统计算法和过滤条件、研判条件进行去重处理，保证单节点中的过滤条件、特征统计、研判条件只处理1次，其中计算的特征值并存入已计算特征值集合中。

An analysis method of analysis engine with node thread level non redundant calculation

The invention discloses an analysis method of an analysis engine with node thread level non redundant calculation, belonging to the technical field of information network security analysis. The working principle of the analysis engine of the invention is that the policy analysis part loads the policies with different external perspectives and different external filtering characteristics, and the loaded policies are distributed to each concurrent statistical analysis module through the policy distribution module. In a single node, the logical algorithm for classifying and processing the perspective will be independent according to the different perspective fields in the custom policy Logical processing, and then logical processing of feature filter conditions in the strategy. The analysis engine de reprocesses all the group and individual statistical algorithms, filter conditions and research conditions of the strategy to which the node is assigned, so as to ensure that the filter conditions, feature statistics and research conditions in a single node are processed only once, and the calculated feature values are stored in the set of calculated feature values.

【技术实现步骤摘要】
一种拥有节点线程级别无冗余计算的分析引擎的分析方法
本专利技术属于信息网络安全分析
，具体涉及一种拥有节点线程级别无冗余计算的分析引擎的分析方法。
技术介绍
企业所辖业务、系统产生的日志对企业来说，至关重要，不仅可以分析业务系统业务需求问题，还可以借助这些日志数据，来分析业务系统的可能存在的安全问题。分析的业务需求问题可以改进系统的相关功能，提升系统的稳定性和可靠性；通过分析业务系统安全问题，加强业务系统安全级别，即在保证用户体验良好的同时保障用户信息数据与资产的安全可靠。目前市面上有许多的日志分析产品，从技术角度上看大多是基于大数据策略规则分析引擎和机器学习引擎相结合进行分析。策略规则分析引擎，是指分析引擎中具备核心安全分析能力的可独立工作的功能模块和框架。传统规则分析引擎的工作原理是，策略规则经解析加载，通过分发策略将策略规则分发至可并发计算分析的多个节点或线程；结构化数据先后经过群体特征值统计模块、策略分析模块处理，其中策略分析模块先计算个体策略特征值，然后再进行不等式条件研判。具体的日志流数据特征统计分析过程：群体特征统计模块将时间窗口内所有的群体的策略进行增量统计出群体特征值，连同原日志数据分发给多个节点的分析模块，分析模块先按单个分析视角的视角特征值进行归类后进行策略分析。策略分析先按内设的特征过滤条件进行处理，将得到的特征按既定的时间窗口进行增量统计出该策略视角的所有特征值，然后通过群体的特征值和单个视角的特征值按照既定的研判分析不等式条件进行判断，当策略规则中的多个不等式条件均成立时，根据得到的权重值是否处于威胁区间进行判定告警。名词定义：单一性日志：如包括apache访问日志、nginx访问日志等的web中间件访问日志与ssh登录日志、数据库登录日志等日志格式统一及固定的日志，分析条件固化单一。行为日志：如分析实际业务账户行为操作的访问日志、业务账户审计日志，格式可能固定，但是分析条件随业务场景复杂多变。1、已有的分析引擎特征处理流程上，群体特征统计模块是单节点设计，将所有的群体特征统计完毕后才将特征值数据分发给并发的多节点分析模块进行各个模块内的策略分析，随着分析日志由传统单一性日志到行为日志的账户行为分析，业务的复杂性急剧增加，所需分析统计的特征值颗粒度(条件限定)更细，特征过滤条件更复杂，势必导致统计模块的计算量急剧增加。因统计模块是单节点处理，随着统计特征线性增加，则计算量、分析耗时线性增加，实时性将线性下降。因分析引擎将特征统计分析部分拆分为群体特征统计模块和个体策略分析模块设计，群体特征统计模块未采用多节点并发的原因主要是群体特征统计耗时不一致，最终将导致各群体特征统计节点之间的时间差差距越来越大，同时需要加入群体特征统计合并节点，合并节点等待时间不确定及合并逻辑复杂。2、因现有分析引擎解析的实现方式上在个体特征统计模块视角归类处理逻辑只实现了全局单一的视角的处理，特征统计的过滤条件作为内置逻辑处理，区别于传统单一性日志，随着业务的复杂性急剧增加，分析引擎无法通过内置穷举的方式来统计与分析行为日志不同场景下所需的群体特征值和个体特征值，同时行为日志分析场景下所需的分析视角往往不止1个，因此策略特征过滤分析条件缺失导致分析结果出现误报，视角覆盖不全将导致分析结果出现漏报。
技术实现思路
本专利技术的目的在于提供一种拥有节点线程级别无冗余计算的分析引擎的分析方法，本专利采用多视角、自定义过滤特征、归并群体统计模块与个体分析模块进行多节点并发统计分析的设计和实现方式，解决了现有的规则分析引擎只能分析单一视角、统计分析特征简单而不能应用于复杂的业务应用场景的缺陷。为了实现上述目的，本专利技术采用以下技术方案：一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，包括如下步骤：步骤1：节点策略分析，数据进入节点策略管理中心进行处理，将遍历策略对数据进行统计分析；加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块；步骤2：策略特征过滤，数据经过节点策略分析中的特征过滤条件进行判断，若该数据特征不匹配，则直接进入步骤1-1，匹配则进入步骤3；步骤1-1:未分析策略检测，分析判断是否还有节点策略未被分析，若有则进入步骤1继续遍历，若无则直接退出数据分析，该条数据分析完毕；步骤3:视角feature特征过滤，分析视角级别的特征过滤条件并进行判断，若匹配进入步骤4，否则进入步骤1-1；步骤4：视角分类，根据视角特征字段，从数据中取出视角值，当有视角值时则进行对应该视角的统计特征进行统计，若无视角值，则从加载到节点的策略统计特征集合中复制一份统计特征给该视角进行统计，进入步骤S1；步骤S1:统计特征计算处理，首先判断该统计特征是否已经在节点所有策略中被计算过，若被计算过，则进入步骤S1-1，若未被计算过，则进入步骤S2；步骤S1-1:未统计特征检测，若还有，则进入步骤S1，否则进入步骤A1；步骤S2：统计特征过滤处理，若特征值不满足过滤条件，则进入步骤1-1，满足则进行子feature判断，若有子feature则进行子feature处理，若无则直接进入步骤S1；当全部特征过滤条件满足，且为最后的子feature时，则进入步骤S3；步骤S3:时间窗口算法增量统计，对策略统计特征时间窗口内的桶数据特征或桶特征值进行增量计算，将以统计特征作为key，统计值作为value存入到节点策略统计特征集合中，供步骤A1使用；步骤A1:特征分析处理，通过查询节点特征统计值集合，根据不等式分析条件组进行研判分析，条件成立则进入步骤A2，否则进入步骤A1-1；步骤A1-1:未研判的条件检测，若存在，则进入步骤A1，否则进行权重判断，权重位于告警区间则进入步骤A3，否则进入步骤1-1；步骤A2：权重累计，对权重进行累计处理，进入步骤A1-1；步骤A3:策略告警处理，对告警需要记录的视角特征、视角值、统计特征值、触发时间、策略id及描述等信息数据进行组装，通过API或直接存入数据库。进一步的，所述统计分析模块包含群体特征统计和个体策略分析，个体策略分析包括个体特征统计和策略研判条件，统计分析模块可在多节点并行特征计算和分析。策略解析部分将不同外置视角、不同外置过滤特征条件的策略进行解析加载，加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块在单个节点中，引擎视角归类处理逻辑算法将根据自定义策略中的不同视角字段进行独立逻辑处理，然后对策略中特征过滤条件逻辑处理，分析引擎将该节点分配到的策略的所有群体及个体统计算法和过滤条件、研判条件进行去重处理，保证单节点中的过滤条件、特征统计、研判条件只处理1次，其中计算的特征值并存入已计算特征值集合中，最后分析时从已计算的特征值集合中取出分析条件所需的所有特征值，研判分析条件，即1个分析条件含多个不等式，中所有不等式成立与否，成立则累计权重，直到所有的研判分析完成，最终根据权重值是否处理风险区间进行告警。进一步的，在所述步骤2中，所述特征过滤条件的条件格式为“值函数:特征字段符号值[or值函数:特征字段符号值]”。进一步的，在所述步骤2中，过滤条件的条件格式中支持逻辑运算符“and、or”、常用的关系运算符“+、-、*、/”及优先级运算符“(、)”，本文档来自技高网...

【技术保护点】
1.一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，包括如下步骤：步骤1：节点策略分析，数据进入节点策略管理中心进行处理，将遍历策略对数据进行统计分析；加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块；步骤2：策略特征过滤，数据经过节点策略分析中的特征过滤条件进行判断，若该数据特征不匹配，则直接进入步骤1‑1，匹配则进入步骤3；步骤1‑1:未分析策略检测，分析判断是否还有节点策略未被分析，若有则进入步骤1继续遍历，若无则直接退出数据分析，该条数据分析完毕；步骤3:视角feature特征过滤，分析视角级别的特征过滤条件并进行判断，若匹配进入步骤4，否则进入步骤1‑1；步骤4：视角分类，根据视角特征字段，从数据中取出视角值，当有视角值时则进行对应该视角的统计特征进行统计，若无视角值，则从加载到节点的策略统计特征集合中复制一份统计特征给该视角进行统计，进入步骤S1；步骤S1:统计特征计算处理，首先判断该统计特征是否已经在节点所有策略中被计算过，若被计算过，则进入步骤S1‑1，若未被计算过，则进入步骤S2；步骤S1‑1:未统计特征检测，若还有，则进入步骤S1，否则进入步骤A1；步骤S2：统计特征过滤处理，若特征值不满足过滤条件，则进入步骤1‑1，满足则进行子feature判断，若有子feature则进行子feature处理，若无则直接进入步骤S1；当全部特征过滤条件满足，且为最后的子feature时，则进入步骤S3；步骤S3:时间窗口算法增量统计，对策略统计特征时间窗口内的桶数据特征或桶特征值进行增量计算，将以统计特征作为key，统计值作为value存入到节点策略统计特征集合中，供步骤A1使用；步骤A1:特征分析处理，通过查询节点特征统计值集合，根据不等式分析条件组进行研判分析，条件成立则进入步骤A2，否则进入步骤A1‑1；步骤A1‑1:未研判的条件检测，若存在，则进入步骤A1，否则进行权重判断，权重位于告警区间则进入步骤A3，否则进入步骤1‑1；步骤A2：权重累计，对权重进行累计处理，进入步骤A1‑1；步骤A3:策略告警处理，对告警需要记录的视角特征、视角值、统计特征值、触发时间、策略id及描述等信息数据进行组装，通过API或直接存入数据库。...

【技术特征摘要】
1.一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，包括如下步骤：步骤1：节点策略分析，数据进入节点策略管理中心进行处理，将遍历策略对数据进行统计分析；加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块；步骤2：策略特征过滤，数据经过节点策略分析中的特征过滤条件进行判断，若该数据特征不匹配，则直接进入步骤1-1，匹配则进入步骤3；步骤1-1:未分析策略检测，分析判断是否还有节点策略未被分析，若有则进入步骤1继续遍历，若无则直接退出数据分析，该条数据分析完毕；步骤3:视角feature特征过滤，分析视角级别的特征过滤条件并进行判断，若匹配进入步骤4，否则进入步骤1-1；步骤4：视角分类，根据视角特征字段，从数据中取出视角值，当有视角值时则进行对应该视角的统计特征进行统计，若无视角值，则从加载到节点的策略统计特征集合中复制一份统计特征给该视角进行统计，进入步骤S1；步骤S1:统计特征计算处理，首先判断该统计特征是否已经在节点所有策略中被计算过，若被计算过，则进入步骤S1-1，若未被计算过，则进入步骤S2；步骤S1-1:未统计特征检测，若还有，则进入步骤S1，否则进入步骤A1；步骤S2：统计特征过滤处理，若特征值不满足过滤条件，则进入步骤1-1，满足则进行子feature判断，若有子feature则进行子feature处理，若无则直接进入步骤S1；当全部特征过滤条件满足，且为最后的子feature时，则进入步骤S3；步骤S3:时间窗口算法增量统计，对策略统计特征时间窗口内的桶数据特征或桶特征值进行增量计算，将以统计特征作为key，统计值作为value存入到节点策略统计特征集合中，供步骤...

【专利技术属性】
技术研发人员：李成东，常清雪，龚致，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51