一种基于并行分布式架构的复杂事件处理的方法技术

一种基于并行分布式架构的复杂事件处理的方法属于网络安全领域。本发明专利技术把关联分析的查询语句分解成由有状态操作和无状态操作组成的操作序列，按照每个子查询至多有且仅包含一个有状态查询的原则把操作序列进行拆分，并且按照拆分的数目把集群等分成几个子集群，然后把子查询部署到相应的子集群。这样部署到不同子群的不同子操作序列之间可以并行计算，部署到同一个子群的不同机器的同一个操作也可以并行计算。即不同查询之间是并行的(查询间并行)，相同查询之间也是并行的(查询内并行)；查询内并行不仅包括不同操作之间是并行的，而且相同操作之内也是并行的。即每个操作都是并行，这样即可解决查询计算遇到的节点性能瓶颈问题。

【技术实现步骤摘要】
一种基于并行分布式架构的复杂事件处理的方法
本专利技术属于网络安全
，特别是一种网络安全事件实时关联分析引擎基于分布式并行架构的实现方法。
技术介绍
安全信息和事件管理系统技术为安全相关信息提供一个综合的视角。安全信息和事件管理系统作为安全信息和事件的最终汇总，并对其进行实时分析，其所处的位置居于整个安全防御系统的核心中央。目前的安全信息和事件管理系统已经广泛扩展了事件监控能力，包括主动安全事故监控管理，被动日志自动收集管理。当前的安全信息和事件管理系统的关联分析引擎是一个集中式的解决方案，随着接入安全信息和事件管理系统的日志源增加，其收集到的数据增长速度已经远快于其关联分析引擎的计算能力提升速度。目前安全信息和事件管理系统在面对收集数据的增加，主要采取三种思路：第一种思路是改进现有安全信息和事件管理系统关联分析引擎的处理能力，比如采用复杂事件处理技术改进关联分析引擎，该种方案可以暂时缓解关联分析引擎计算能力不足的问题；第二种思路是对未来得及处理的安全信息和事件先缓存，以等待进一步的分析，该种方案的好处是安全信息和事件不会被遗漏；第三种思路是对安全信息和事件采取QoS(服务质量本文档来自技高网...

【技术保护点】
一种基于并行分布式架构的复杂事件处理的方法，其特征在于：把复杂事件处理技术对事件进行处理的操作分解成几个元操作，并把元操作分为两类：无状态操作和有状态操作；所谓无状态操作，即对后面的事件的处理操作和前面的事件的处理操作无关联；所谓有状态操作，对后面事件的处理操作需要依据结合前面事件的处理操作进行处理操作，通过滑动窗口实现；划分的无状态操作包括：映射、转换操作，过滤操作或联合操作；有状态操作包括：聚合操作或连接操作；具体步骤如下：步骤1：获取用于关联分析的查询语句；步骤2：把查询语句按照上文定义的有状态操作和无状态操作分解成一串操作序列；步骤3：按照有状态操作把操作序列即查询语句分解成子操作序列...

【技术特征摘要】
1.一种基于并行分布式架构的复杂事件处理的方法，其特征在于：把复杂事件处理技术对事件进行处理的操作分解成几个元操作，并把元操作分为两类：无状态操作和有状态操作；所谓无状态操作，即对后面的事件的处理操作和前面的事件的处理操作无关联；所谓有状态操作，对后面事件的处理操作需要依据结合前面事件的处理操作进行处理操作，通过滑动窗口实现；划分的无状态操作包括：映射、转换操作，过滤操作或联合操作；有状态操作包括：聚合操作或连接操作；具体步骤如下：步骤1：获取用于关联分析的查询语句；步骤2：把查询语句按照上文定义的有状态操作和无状态操作分解成一串操作序列；步骤...

【专利技术属性】
技术研发人员：廉海明，郭旭东，谢小明，胡佳，胡大正，郭江，沈艳林，石波，沈德峰，吴朝雄，王红艳，
申请(专利权)人：中国航天科工集团第二研究院七〇六所，
类型：发明
国别省市：北京;11