一种支持海量数据实时安全威胁关联分析的系统技术方案

本发明专利技术涉及网络安全技术领域，公开了一种支持海量数据实时安全威胁关联分析的系统。本发明专利技术支持海量异构大数据的实时清洗、统计和威胁分析，并根据安全运营述求，可进行基于特征、基于统计和基于异构数据关联分析的大数据实时威胁分析方法，达到从海量数据中识别攻击威胁，提高攻击事件的检测准确度，从而降低网络安全设备检测行为的误报率，提高安全运营效率，保护企业生产环境安全稳定。

【技术实现步骤摘要】
一种支持海量数据实时安全威胁关联分析的系统
本专利技术涉及网络安全
，特别涉及一种支持海量数据实时安全威胁关联分析的系统。
技术介绍
伴随传统领域数字化转型不断深入、物联网与新技术加快融合，信息通信网络已经渗透到经济、社会等各个领域，与此同时，网络安全风险和威胁也随之蔓延、扩散和叠加，它已经成为影响经济社会发展、和人民群众利益的重大战略问题。只有保障网络安全，才能夯实数字经济发展的基础。在数字经济时代的背景下，随着信息产业及计算机计算的发展，大数据、物联网、云计算、移动互联网等新场景、新技术的飞速发展，网络的规模和复杂度越来越大，恶意网络攻击行为应对的挑战日趋严峻，网络攻击事件呈现多元化、复杂化，如何从海量大数据中有效识别有效的网络攻击行为是重点及难点。传统安全数据分析，依赖于单个安全设备或仅支持基于简单规则去分析研判，安全检测系统会自动检测出诸多安全告警事件，此种单一的检测方式，存在较大的安全误报率和漏报率，安全工程师也会因此把精力淹没在海量的安全事件噪音中，安全威胁研判和处置效率低下。所以需要一种打破数据孤岛，将海量数据日志提取和关联实时威胁分析，从而提高检测准确率，降低误报率，增强威胁检测能力。
技术实现思路
本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种支持海量数据实时安全威胁关联分析的系统，支持海量异构大数据的实时清洗、统计和威胁分析，并根据安全运营述求，可进行基于特征、基于统计和基于异构数据关联分析的大数据实时威胁分析方法，达到从海量数据中识别攻击威胁，提高攻击事件的检测准确度，从而降低网络安全设备检测行为的误报率，提高安全运营效率，保护企业生产环境安全稳定。为了解决上述技术问题，本专利技术提供了如下的技术方案：本专利技术提供一种支持海量数据实时安全威胁关联分析的系统，该系统主要包括：规则配置模型、规则统计子引擎、关联引擎三大模块，步骤如下所示：一、规则配置模型1.1：特征性规则C1，基于结构化数据源，根据一个及多个字段内容，结合运算符和匹对内容，进行基于规则的配置表建立，运算符号包括有：包含、不包含、正则表达式、等于、不等于、空、不为空等；1.2：统计性规则C2，基于结构化数据源，在特征性规则的基础上，可建立在某个时间段T内的一个或多个字段的聚合统计(此字段简称为聚合字段R1)，譬如统计5分钟内IP192.168.1.1的出现频次；1.3：关联性规则C3，选择规则C1或C2对应的已有配置，符合C1/C2规则的数据源作为基础，进行基于规则的配置表建立，运算符包括两个规则对应字段的关联，可建立在某个时间段内的字段的的聚合统计；二、规则子引擎2.1：前置清洗及标准化；对海量输入多源异构数据，按照私有协议数据结构(JSON)，标准化过滤，形成标准格式化数据体DATA1；2.2：前置过滤层；黑白名单过滤等前置判断，通过则进入下一步；2.3：加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3；2.4：基于Flink的实时历编规则集合Rules，若符合特征规则C1，数据源DATA1中追加字段，添加对应的命中规则ID，打包形成D2，通过中间件消息队列(kafka)推送到下一引擎(关联引擎),DATA1数据内容包括命中规则ID集合和规则类型集合；Data1字段示例如下：matchRules[{“rulemode”:”TRAIT”,”ruleId”:21}],表示为命中规则ID为21，且命中特征性规则；2.5：历编规则集合Rules，若符合统计性规则C2中的特征规则，将数据源DATA1通过中间件消息队列(kafka)推送到下一引擎(关联引擎)；同时，进行聚合字段R1切片、聚合，形成KEY-VALUE键值对集合对象，存入高效的NoSQL数据库(Aerospike)；NoSQL数据库集合存储格式及定义如下：Keys＝MAP{〇_①_②_③}Value＝MAP{④},MAP{⑤}〇统计类型枚举；占位一个字符：lS:statistics,统计模式lU_[field]:union,关联模式①rule.ID；INT类型；T_rule表的ID；②arrogation.value:聚合字段对应的数据；譬如聚合字段是某个IP，则数值为本次流数据IP字段对应的“192.168.10.1”，那么②的数值就为“192.168.10.1”；③MinSilce，BIGINT类型：当前时间转换为分钟时间戳；把T窗口计数频率切割为分钟级；④FreqINT类型；频率统计计数；IdtimestampmapMAP类型；记录本次流数据的ID和时间戳；三、关联引擎3.1：独立的实时流威胁分析模块，加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3，规则配置C1/C2，可配置输出模式是否包含回溯模式，若选择回溯模式，此个实时数据源，除了作为告警事件输出到下一步作为威胁告警之余，仍可以作为重新封装，重新推送到最源头，作为新的数据源，此步主要为关联性规则命中的重要参数之一；3.2：从消息队列(kafka)中获得数据源D2，推送到flink关联引擎进行威胁分析；3.3：加载配置；加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3；3.4：拆包解析数据源D2，根据matchRules字段内容，进行相应的逻辑处理：若规模模式(rulemode)标识为特征型，则直接作为威胁命中，封装为结构化数据，推送到消息队列(kafka)和持续化存储(ES)；其中，若规则配置中，若规模模式(rulemode)标识为标识为统计型，则根据命中的规则ID找到对应的配置，取出统计告警阈值threshold，取出对应的聚合字段K2，确定数据源D2找到K2对应的值V2，从数据源D2获取统计窗口长度windows、当前时间Time两个要素，确定统计聚合的分钟切片MinSlice1、MinSlice2、…MinSliceN，组合成key1＝S_ID_V2_MinSlice1，Key2＝S_ID_V2_MinSlice2,KeyN＝S_ID_V2_MinSliceN；从高效缓存NoSQL数据库中，根据多组Key，获得对应的value1、Value2、ValueN，统计求和Value＝SUM(Value1，Value2，…，ValueN)；若Value达到threshold，则认为触发威胁规则，封装为结构化数据，推送到消息队列(kafka)和持续化存储(ES)，若此规则模式同时配置为关联规则的子事件之一，则作为回溯事件，重新推送作为新数据源，标示为回溯事件新数据源；若规模模式(rulemode)标识为标识为关联型；关联性的触发模式为满足两个规则配置(统计型或特征型)同时触发时发生，定义为子规则eventA、eventB，若eventA或eventB为统计型的规则，其命中的数据源会属于回溯溯事件标签的新数据源本文档来自技高网...

【技术保护点】
1.一种支持海量数据实时安全威胁关联分析的系统，其特征在于，该系统主要包括：规则配置模型、规则统计子引擎、关联引擎三大模块，步骤如下所示：/n一、规则配置模型/n1.1：特征性规则C1，基于结构化数据源，根据一个及多个字段内容，结合运算符和匹对内容，进行基于规则的配置表建立，运算符号包括有：包含、不包含、正则表达式、等于、不等于、空、不为空等；/n1.2：统计性规则C2，基于结构化数据源，在特征性规则的基础上，可建立在某个时间段T内的一个或多个字段的聚合统计(此字段简称为聚合字段R1)，譬如统计5分钟内IP192.168.1.1的出现频次；/n1.3：关联性规则C3，选择规则C1或C2对应的已有配置，符合C1/C2规则的数据源作为基础，进行基于规则的配置表建立，运算符包括两个规则对应字段的关联，可建立在某个时间段内的字段的的聚合统计；/n二、规则子引擎/n2.1：前置清洗及标准化；对海量输入多源异构数据，按照私有协议数据结构(JSON)，标准化过滤，形成标准格式化数据体DATA1；/n2.2：前置过滤层；黑白名单过滤等前置判断，通过则进入下一步；/n2.3：加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3；/n2.4：基于Flink的实时历编规则集合Rules，若符合特征规则C1，数据源DATA1中追加字段，添加对应的命中规则ID，打包形成D2，通过中间件消息队列(kafka)推送到下一引擎(关联引擎),DATA1数据内容包括命中规则ID集合和规则类型集合；Data1字段示例如下：matchRules[{“rulemode”:”TRAIT”,”ruleId”:21}],表示为命中规则ID为21，且命中特征性规则；/n2.5：历编规则集合Rules，若符合统计性规则C2中的特征规则，将数据源DATA1通过中间件消息队列(kafka)推送到下一引擎(关联引擎)；同时，进行聚合字段R1切片、聚合，形成KEY-VALUE键值对集合对象，存入高效的NoSQL数据库(Aerospike)；/nNoSQL数据库集合存储格式及定义如下：/nKeys＝MAP{〇_①_②_③}/nValue＝MAP{④},MAP{⑤}/n〇统计类型枚举；占位一个字符：/nl S:statistics,统计模式/nl U_[field]:union,关联模式/n①rule.ID；INT类型；T_rule表的ID；/n②arrogation.value:聚合字段对应的数据；譬如聚合字段是某个IP，则数值为本次流数据IP字段对应的“192.168.10.1”，那么②的数值就为“192.168.10.1”；/n③MinSilce，BIGINT类型：当前时间转换为分钟时间戳；把T窗口计数频率切割为分钟级；/n④Freq INT类型；频率统计计数；/nIdtimestampmap MAP类型；记录本次流数据的ID和时间戳；/n三、关联引擎/n3.1：独立的实时流威胁分析模块，加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3，规则配置C1/C2，可配置输出模式是否包含回溯模式，若选择回溯模式，此个实时数据源，除了作为告警事件输出到下一步作为威胁告警之余，仍可以作为重新封装，重新推送到最源头，作为新的数据源，此步主要为关联性规则命中的重要参数之一；/n3.2：从消息队列(kafka)中获得数据源D2，推送到flink关联引擎进行威胁分析；/n3.3：加载配置；加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3；/n3.4：拆包解析数据源D2，根据matchRules字段内容，进行相应的逻辑处理：/n若规模模式(rulemode)标识为特征型，则直接作为威胁命中，封装为结构化数据，推送到消息队列(kafka)和持续化存储(ES)；其中，若规则配置中，若规模模式(rulemode)标识为标识为统计型，则根据命中的规则ID找到对应的配置，取出统计告警阈值threshold，取出对应的聚合字段K2，确定数据源D2找到K2对应的值V2，从数据源D2获取统计窗口长度windows、当前时间Time两个要素，确定统计聚合的分钟切片MinSlice1、MinSlice2、…MinSliceN，组合成key1＝S_ID_V2_MinSlice1，Key2＝S_ID_V2_MinSlice2,KeyN＝S_ID_V2_MinSliceN；从高效缓存NoSQL数据库中，根据多组Key，获得对应的value1、Value2、ValueN，统计求和Value＝SUM(Value1，Value2，…，ValueN)；若Value达到threshold，则认为触发威胁规则，封装为结构化数据，推送到消息队列(kafka)和持续化存储(ES)...

【技术特征摘要】
1.一种支持海量数据实时安全威胁关联分析的系统，其特征在于，该系统主要包括：规则配置模型、规则统计子引擎、关联引擎三大模块，步骤如下所示：
一、规则配置模型
1.1：特征性规则C1，基于结构化数据源，根据一个及多个字段内容，结合运算符和匹对内容，进行基于规则的配置表建立，运算符号包括有：包含、不包含、正则表达式、等于、不等于、空、不为空等；
1.2：统计性规则C2，基于结构化数据源，在特征性规则的基础上，可建立在某个时间段T内的一个或多个字段的聚合统计(此字段简称为聚合字段R1)，譬如统计5分钟内IP192.168.1.1的出现频次；
1.3：关联性规则C3，选择规则C1或C2对应的已有配置，符合C1/C2规则的数据源作为基础，进行基于规则的配置表建立，运算符包括两个规则对应字段的关联，可建立在某个时间段内的字段的的聚合统计；
二、规则子引擎
2.1：前置清洗及标准化；对海量输入多源异构数据，按照私有协议数据结构(JSON)，标准化过滤，形成标准格式化数据体DATA1；
2.2：前置过滤层；黑白名单过滤等前置判断，通过则进入下一步；
2.3：加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联性C3；
2.4：基于Flink的实时历编规则集合Rules，若符合特征规则C1，数据源DATA1中追加字段，添加对应的命中规则ID，打包形成D2，通过中间件消息队列(kafka)推送到下一引擎(关联引擎),DATA1数据内容包括命中规则ID集合和规则类型集合；Data1字段示例如下：matchRules[{“rulemode”:”TRAIT”,”ruleId”:21}],表示为命中规则ID为21，且命中特征性规则；
2.5：历编规则集合Rules，若符合统计性规则C2中的特征规则，将数据源DATA1通过中间件消息队列(kafka)推送到下一引擎(关联引擎)；同时，进行聚合字段R1切片、聚合，形成KEY-VALUE键值对集合对象，存入高效的NoSQL数据库(Aerospike)；
NoSQL数据库集合存储格式及定义如下：
Keys＝MAP{〇_①_②_③}
Value＝MAP{④},MAP{⑤}
〇统计类型枚举；占位一个字符：
lS:statistics,统计模式
lU_[field]:union,关联模式
①rule.ID；INT类型；T_rule表的ID；
②arrogation.value:聚合字段对应的数据；譬如聚合字段是某个IP，则数值为本次流数据IP字段对应的“192.168.10.1”，那么②的数值就为“192.168.10.1”；
③MinSilce，BIGINT类型：当前时间转换为分钟时间戳；把T窗口计数频率切割为分钟级；
④FreqINT类型；频率统计计数；
IdtimestampmapMAP类型；记录本次流数据的ID和时间戳；
三、关联引擎
3.1：独立的实时流威胁分析模块，加载规则配集合Rules，配置特征型规则C1，统计型规则C2，关联...

【专利技术属性】
技术研发人员：刘剑群，吴朝亮，刘骁睿，马颂华，刘奇，彭大祥，王佳伟，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：北京;11