本发明专利技术给出了一种网络安全源数据高效聚合及关联分析的方法与系统，包括利用实时队列接入数据源并存储结果，利用存储媒介对聚合策略进行配置和储存，并且基于源数据和聚合策略将数据聚合后进行保存，方法主程序采用观察者模式，启动异步线程定时读取XML文件属性，若文件最后修改时间变更则读取文件内容，将最新的聚合策略通知观察者更新其内存中的聚合策略的集合。区别于传统方式以服务器时间作为时间基准的方法，本方法以数据时间作为时间基准，将相同聚合特征的数据以无延迟的方式聚合发送到下游，无需等待固定时间窗口步长，保证数据处理实时性和数据真实度。据处理实时性和数据真实度。据处理实时性和数据真实度。
【技术实现步骤摘要】
一种网络安全源数据高效聚合及关联分析的方法与系统
[0001]本专利技术涉及工业网络安全
，尤其是一种网络安全源数据高效聚合及关联分析的方法与系统。
技术介绍
[0002]本专利技术涉及工业网络安全领域，涉及一种基于网络流量源数据和日志源数据的关联分析预警方法、数据高效聚合方法。
[0003]随着我国工业互联网的高速发展，且网络安全事故在国际上频有发生，在企业中建设网络安全监测系统变的愈发重要。在网安系统中源数据规则预警模块占据极为重要的位置，但是由于企业网络规模庞大，网络设备繁多，此模块的实现面临着源数据数量庞大，流量特征复杂、预警规则繁多等问题，导致预警模块存在实时性、高效性、精确性的缺陷。为了解决以上的问题，采用高效聚合方法对海量数据进行同特征采样的预处理用以解决数据积压的延迟问题，采用源数据关联分析的方法达到预警规则上线简便迅速，预警事件准确性高的目的。
[0004]在工业网络中，存在如防火墙、IDS、正向隔离装置、纵向加密装置等安全设备；交换机、路由器等网络设备；操作员站、工程师站、接口机等主机设备，除对以上设备进行日志监测外还需要对汇聚交换机的端口镜像进行分析，数据量庞大，在考虑硬件成本的情况下，单设备产品进行规则预警时处理能力非常差，所以需要针对来源数据进行实时预处理聚合。而目前主要的聚合方式为时间窗口聚合，即按照固定的时间间隔进行等待，满足以服务器时间为基准的区间段后，对间隔内的数据集合进行遍历，取某几条结果数据进行聚合，该方法对数据的实时性存在较大影响，必须等到时间窗口触发后才可以进行聚合操作，使数据有一定的延迟，才可以达到下游处理模块，且随着时间窗口的增大，该延迟影响更加明显，而且以服务器时间为基准屏蔽了数据自身的发生时间，导致数据缺真。
[0005]丰富的设备类型导致多类型的日志格式，复杂的流量特征需要预警规则更加灵活准确。目前主要的预警方法以代码的形式固定了数据源数据结构、基本主要通过简单的黑白名单、置信度、阈值配置等实现对源数据集的预警判断。导致数据结构无法灵活配置，接入新数据源和上线新规则时需重新编码和重启应用，非常低效，且原始预警方法无法进行复杂的规则配置，当匹配规则后则输出告警，不具备对源数据进行关联分析的告警进行佐证的能力，易产生误报。
[0006]目前对数据聚合的方法主要是基于服务器时间等待固定时间间隔实现，其主要实现流程为:
[0007]步骤一，根据聚合策略开启时间窗口任务；
[0008]步骤二，接收数据存储到对应窗口缓存中；
[0009]步骤三，判断是否满足时间窗口触发执行条件，不满足则等待，重复步骤二，若满足则执行步骤四；
[0010]步骤四，执行聚合逻辑。
[0011]对预警规则实现目前主要是重编码方法和制定SQL语句方法实现。
[0012]制定SQL语句方法是根据预警模块给定的查询语言模式，通过SQL
‑
CLI编写相应预警需求的SQL语句实现。
[0013]重编码方法，其主要实现流程为:
[0014]步骤一，接收预警规则需求；
[0015]步骤二，编码源数据结构和预警规则；
[0016]步骤三，对代码进行编译，上传服务器，重启应用；
[0017]步骤四，接收源数据进行规则处理，满足规则直接把告警发送到下游；
[0018]步骤五，若有新的上线需求或修改已有需求，重复步骤一到步骤四。
[0019]上述聚合方法存在数据延迟大、数据失真等问题；预警规则方法存在需具备一定的SQL知识、规则制定效率低、准确率低等问题，无法满足大数据量、实时性要求高、规则繁多需制定迅速、告警准确率高的运行场景。
[0020]为解决上述问题,本专利技术提出了高效聚合方法以及关联分析预警的方法。本专利技术通过任一数据存储方式(XML配置、MYSQL、REDIS等)进行配置实现动态加载聚合规则，基于数据自身时间进行时间窗口触发计算且无延迟的将同聚合特征的数据发送到下游，从而解决数据延迟处理、数据失真等问题；对于源数据的规则预警，本专利技术可通过UI界面进行制定(包括源数据结构、预警规则)关联分析策略，所有制定均可动态加载无需编码和重启，且支持进行多数据源的复杂关联、时序分析及关联佐证，从而解决上线新规则和修改已有规则效率低、预警规则制定单一、误报率高等问题。
技术实现思路
[0021]本专利技术提出了一种网络安全源数据高效聚合及关联分析的方法与系统，以解决上文提到的现有技术的缺陷。
[0022]在一个方面，本专利技术提出了一种网络安全源数据高效聚合及关联分析的方法，该方法包括以下步骤：
[0023]S1：选取存储媒介对网络安全源数据的聚合策略进行配置，同时选取消息队列对网络安全源数据进行接入以及结果储存，启动文件监控异步线程定时读取所述存储媒介的文件属性，同时启动观察者异步线程用于等待包含聚合策略的通知；
[0024]S2：若读取到所述存储媒介的最后修改时间出现变更则读取所述存储媒介的内容，将所述存储媒介中的最新策略通知给观察者，然后继续监控存储媒介修改时间，所述观察者解析所述最新策略并根据所述最新策略更新已配置的聚合策略；
[0025]S3：读取接收到的源数据中的字段对应值合并为关键字段key,与已有聚合策略的key进行比对，匹配其对应的聚合策略,结合源数据携带时间戳和其聚合策略的开始时间和结束时间，从时间窗口管理器中获取窗口对象，若窗口不存在则新建并维护到窗口管理器，基于得到的窗口对象获取到对此窗口的执行句柄；
[0026]S4：根据所述接收到的数据源的关键字段的特征计算出聚合特征，基于所述执行句柄触发所述时间窗口，基于所述时间窗口执行以下聚合流程：按照所述时间窗口依次判断所述聚合特征是否已存在于窗口存储体中，若是则将所述接收到的数据源，执行所述对应的聚合策略实时地发送至下游副数据的处理体。
[0027]以上方法利用实时队列接入数据源并存储结果，利用存储媒介对聚合策略进行配置和储存，并且基于源数据和聚合策略将数据聚合后进行保存，方法主程序采用观察者模式，启动异步线程定时读取XML文件属性，若文件最后修改时间变更则读取文件内容，将最新的聚合策略通知观察者更新其内存中的聚合策略的集合。区别于传统方式以服务器时间作为时间基准的方法，本方法以数据时间作为时间基准，将相同聚合特征的数据以无延迟的方式聚合发送到下游，无需等待固定时间窗口步长，保证数据处理实时性和数据真实度。
[0028]在具体的实施例中，所述存储媒介为包括XML文件和Mysql在内的存储组件。
[0029]在具体的实施例中，所述消息队列包括Kafka和RabbitMQ。
[0030]在具体的实施例中，所述S3具体包括：
[0031]读取接收到的源数据并匹配其对应的聚合策略，提取所述接收到的源数据的时间戳，根据所述时间戳中的聚合时间特征计算获得所述接收到的源数据所属的时间窗口的开始时间和结束时间，执行所述时间窗口的管理器句柄，查询所述时间窗口是否存在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种网络安全源数据高效聚合的方法，其特征在于，包括以下步骤：S1：选取存储媒介对网络安全源数据的聚合策略进行配置，同时选取消息队列对网络安全源数据进行接入以及结果储存，启动文件监控异步线程定时读取所述存储媒介的文件属性，同时启动观察者异步线程用于等待包含聚合策略的通知；S2：若读取到所述存储媒介的最后修改时间出现变更则读取所述存储媒介的内容，将所述存储媒介中的最新策略通知给观察者，然后继续监控存储媒介修改时间，所述观察者解析所述最新策略并根据所述最新策略更新已配置的聚合策略；S3：读取接收到的源数据中的字段对应值合并为关键字段key,与已有聚合策略的key进行比对，匹配其对应的聚合策略,结合源数据携带时间戳和其聚合策略的开始时间和结束时间，从时间窗口管理器中获取窗口对象，若窗口不存在则新建并维护到窗口管理器，基于得到的窗口对象获取到对此窗口的执行句柄；S4：根据所述接收到的数据源的关键字段的特征计算出聚合特征，基于所述执行句柄触发所述时间窗口，基于所述时间窗口执行以下聚合流程：按照所述时间窗口依次判断所述聚合特征是否已存在于窗口存储体中，若是则将所述接收到的数据源，执行所述对应的聚合策略实时地发送至下游副数据的处理体。2.根据权利要求1所述的方法，其特征在于，所述存储媒介为包括XML文件和Mysq l在内的存储组件。3.根据权利要求1所述的方法，其特征在于，所述消息队列包括Kafka和RabbitMQ。4.根据权利要求1所述的方法，其特征在于，所述S3具体包括：读取接收到的源数据并匹配其对应的聚合策略，提取所述接收到的源数据的时间戳，根据所述时间戳中的聚合时间特征计算获得所述接收到的源数据所属的时间窗口的开始时间和结束时间，执行所述时间窗口的管理器句柄，查询所述时间窗口是否存在；若存在则直接获取所述时间窗口的所有执行句柄；若不存在则基于所述开始时间和所述结束时间来创建新的时间窗口，将所述新的时间窗口保存到时间窗口管理器内，并获取所述新的时间窗口的所有执行句柄。5.根据权利要求1所述的方法，其特征在于，所述S4具体包括：根据所述对应的聚合策略并且基于关键字段的特征进行计算得到所述接收到的数据源的聚合特征，运行所述S3获取的所有执行句柄从而执行所述对应的聚合策略判断窗口存储体中是否存在相同聚合特征的数据；若存在则表示所述接收到的数据源为被聚合数据，将所述接收到的数据源保存到窗口存储体，并将所述接收到的数据源发送至下游副数据的处理体；若不存在则把所述接收到的数据源发送至下游主数据的处理体。6.一种网络安全源数据关联分析的方法，其特征在于，在权利要求1
‑
5中任一项所述的高效聚合的方法之后，还包括对网络安全源数据进行关联分析，具体包括：A1：通过用户界面进行源数据结构的动态注入，选取录入的源数据之中一定数量的数据源，根据关联需求从选取的数据源中选定若...
【专利技术属性】
技术研发人员：闫印强，孙俊虎，赵威，
申请(专利权)人：长扬科技北京股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。