一种数据处理方法及系统技术方案

本发明专利技术公开了一种数据处理方法，该方法包括以下步骤：将采集的信息数据作为日志数据存储在消息系统；读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树；依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；根据所述告警事件信息以及安全事件信息，对规则配置信息进行动态调整。通过本方案，使得架构先进，技术稳定，兼容性高；支持大数据量情况；规则体系可配置性高。

A data processing method and system

The present invention discloses a data processing method. The method comprises the following steps: storing the collected information data as log data in a message system, reading log data in the message system, classifying the log data, and encapsulating the policy tree caching and his caching information into a policy tree; According to the rules configuration information and policy tree caching strategy information, alarm event information and security event information are generated. According to the alarm event information and security event information, the rule configuration information is dynamically adjusted. Through this scheme, the structure is advanced, the technology is stable, the compatibility is high, the situation of supporting large data quantity is high, and the rule system has high configurability.

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及数据安全领域，尤其涉及一种基于流处理规则引擎的数据处理方法及系统。
技术介绍
企业内部复杂的安全系统以及随外部条件不断变化的安全业务规则，要求将数据统一存储并能够有效分离业务逻辑和应用开发者的技术决策。规则引擎可以实现对系统数据的纵向、横向校验以及表与表之间的逻辑关系校验，作为一个独立的模块，可以适应不同的业务模型，以应对动态变化的环境。近年来，商业银行的信息安全风险事件时有发生，信息技术在推动中小商业银行业务创新和转型变革的同时,也给银行带来了极大的风险，已经成为影响银行稳健运营的重要风险因素。目前商业银行信息安全风险管理方面所面临的突出问题有：外部攻击更加多样化；外部的攻击更为集中；现有的安全、审计措施难以适配大数据环境下的业务发展需求；风险评估标准和指标体系的缺失。针对银行所面临的关键问题开展研究，需要实现基于大数据的网络安全态势感知技术，全面提升信息安全的防护水平。如图1，是现有技术的大数据分析处理的一个方案，其包括以下步骤：步骤1，数据规则开始；步骤2，初始化规则对象；步骤3，判断是否已经将数据规则加载至内存，如果已经加载，则跳转至步骤4，否则从规则库将数据规则加载至内存，跳转至步骤4；步骤4，执行规则对象；步骤5，输出执行结果；步骤6，执行结束。上述数据规则预先定义好发送至规则库，并在执行规则对象过程中调用数据规则。上述规则引擎技术虽然具备对大数据一定的处理能力，但是其没有基于流处理设计的机制，缺少应对不同大数据情况的能力，同时缺乏配置扩展能力，导致性能以及易用性不佳。
技术实现思路
为解决上述技术问题，本专利技术提供了一种数据处理方法，其特征在于，该方法包括以下步骤：将采集的信息数据作为日志数据存储在消息系统；读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树；依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；根据所述告警事件信息以及安全事件信息，对规则配置信息进行动态调整。根据本专利技术的方法，优选的，所述将采集的信息数据作为日志数据存储在消息系统是指：将采集的信息数据作为日志数据存储在Kafka分布式消息系统中，该Kafka分布式消息系统包括以下日志数据：用户/机构数据、业务数据、安全数据、运维数据；所述日志数据包括日志数据：主机日志、网络日志、安全日志、应用日志。根据本专利技术的方法，优选的，所述规则配置信息通过以下方式产生：根据采集的数据信息，通过一定的逻辑运算定义为指标数据，指标数据由标准元数据和计算元数据构成；根据时间窗口以及各类场景，将指标数据转化为规则模型，同时将规则模型写进规则库供调用。根据本专利技术的方法，优选的，利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配；如果匹配到单条规则，则根据规则设置产生告警事件信息；如果多个触发规则间符合设定的关联条件，将产生安全事件信息，安全事件信息表示具有一定关联关系的告警事件信息的集合。根据本专利技术的方法，优选的，根据所述告警事件信息以及安全事件信息的误报率和漏报率，对规则模型进行动态调整，产生不同的基线标准。为解决上述技术问题，本专利技术提供了一种数据处理系统，该系统包括：流处理模块，将采集的信息数据作为日志数据存储在消息系统；分析计算模块，读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树，依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；数据存储模块，用于存储指标数据、配置规则信息数据以及策略信息数据；应用模块，用于连接展示模块以及数据存储模块，该应用模块提供了与展示模块进行数据交互的接口，并将展示模块传递的数据存储在数据存储模块中；展示模块，用于配置指标数据、配置规则信息数据以及策略信息数据。根据本专利技术的系统，优选的，所述流处理模块将采集的信息数据作为日志数据存储在Kafka分布式消息系统中，该Kafka分布式消息系统包括以下日志数据：用户/机构数据、业务数据、安全数据、运维数据；所述日志数据包括日志数据：主机日志、网络日志、安全日志、应用日志。根据本专利技术的系统，优选的，所述规则配置信息通过以下方式产生：根据采集的数据信息，通过一定的逻辑运算定义为指标数据，指标数据由标准元数据和计算元数据构成；根据时间窗口以及各类场景，将指标数据转化为规则模型，同时将规则模型写进规则库供调用。根据本专利技术的系统，优选的，分析计算模块，利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配；如果匹配到单条规则，则根据规则设置产生告警事件信息；如果多个触发规则间符合设定的关联条件，将产生安全事件信息，安全事件信息表示具有一定关联关系的告警事件信息的集合。为解决上述技术问题，本专利技术提供了一种计算机存储介质，其包括有计算机程序指令，通过执行所述计算机程序指令，实现上述权利要求之一的方法。通过本专利技术的技术方案取得了以下技术效果：A、架构先进，技术稳定，兼容性高。B、支持大数据量情况。C、规则体系可配置性高。附图说明图1是现有技术的系统架构图图2是本专利技术的数据流架构图图3是本专利技术的具体实施例流程图具体实施方式Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，该方法包括以下步骤：将采集的信息数据作为日志数据存储在消息系统；读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树；依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；根据所述告警事件信息以及安全事件信息，对规则配置信息进行动态调整。

【技术特征摘要】
1.一种数据处理方法，其特征在于，该方法包括以下步骤：将采集的信息数据作为日志数据存储在消息系统；读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树；依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；根据所述告警事件信息以及安全事件信息，对规则配置信息进行动态调整。2.根据权利要求1所述的方法，其特征在于，所述将采集的信息数据作为日志数据存储在消息系统是指：将采集的信息数据作为日志数据存储在Kafka分布式消息系统中，该Kafka分布式消息系统包括以下日志数据：主机日志、网络日志、安全日志、应用日志。3.根据权利要求1所述的方法，其特征在于，所述规则配置信息通过以下方式产生：根据采集的数据信息，通过一定的逻辑运算定义为指标数据，指标数据由标准元数据和计算元数据构成；根据时间窗口以及各类场景，将指标数据转化为规则模型，同时将规则模型写进规则库供调用。4.根据权利要求3所述的方法，其特征在于，利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配；如果匹配到单条规则，则根据规则设置产生告警事件信息；如果多个触发规则间符合设定的关联条件，将产生安全事件信息，安全事件信息表示具有一定关联关系的告警事件信息的集合。5.根据权利要求3或4所述的方法，其特征在于，根据所述告警事件信息以及安全事件信息的误报率和漏报率，对规则模型进行动态调整，产生不同的基线标准。6.一种数据处理系统，该系统包括：流处理模块，将采集的信息数据...

【专利技术属性】
技术研发人员：王春波，喻波，王志海，安鹏，
申请(专利权)人：北京明朝万达科技股份有限公司，
类型：发明
国别省市：北京,11