一种基于大数据的流处理预警的方法技术

本发明专利技术提出一种基于大数据的流处理预警的方法，构建Storm分布式集群作为数据处理模块，数据处理模块从数据收集端口接收待处理数据，通过Drool构建规则引擎，数据处理模块和规则引擎共同将待处理数据处理为待预警数据，预警模块根据待预警数据发出警报，将规则引擎与Storm分布式集群结合，规则引擎拉取分布式集群中的待处理数据进行数据关联分析得到待预警数据后进行预警，提升了海量数据实时分析处理能力，并且能够及时获取危险预警信息并及时发出预警。

A method of flow processing and early warning based on big data

【技术实现步骤摘要】
一种基于大数据的流处理预警的方法
本专利技术涉及网络安全大数据
，具体涉及一种基于大数据的流处理预警的方法。
技术介绍
信息技术变革日新月异，大数据、云计算、人工智能、区块链等新技术的发展应用，推进新一代互联网应用平台和新一代信息平台规划建设，建设后的计算、存储、网络、小型终端等暴露在互联网中，信息安全面临着前所未有的挑战。网络设备、服务器、数据库、应用服务等需要被检测和防御的计算机软硬件，在防护和周期检测过程中，会产生大量的安全日志和检测数据，安全产品需要对日志进行分析、溯源、通过人工智能手段发现潜在的威胁尤为重要。安全产品采集各类系统日志，日志汇总后会变的很庞大，这就要求系统有处理海量数据的能力，从海量数据中发现异常，及时预警潜在的风险，有利于实施运维人员及时发现系统风险，快速定位故障根源，提高对危险事件的事后审查能力。传统系统的预警方法，是基于多点采集，采集后的数据进行解析和过滤，再向后传输到消息队列，处理进程获取队列消息进行归一化，归一化后数据入库同时传递给规则引擎，规则引擎逐一进行规则判断。这种处理方式的弊端就在于处理端负载不均衡，导致有的非常繁忙，有的很空闲；流程不可存在异常，一个点发生异常，会导致整个流程停滞；规则匹配效率低下；管理和运维成本高。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种基于大数据流处理的方式，能够将待处理数据处理成为待预警数据，再通过预警模块实时预警。一种基于大数据的流处理预警的方法，包括步骤：构建Storm分布式集群作为数据处理模块，所述数据处理模块从数据收集端口接收待处理数据，通过Drool构建规则引擎，所述数据处理模块和规则引擎共同将待处理数据处理为待预警数据；预警模块根据待预警数据发出警报。进一步的，基于开源分布式的Storm分布式集群构建Topology架构作为数据处理模块；规则引擎从数据处理模块拉取待处理数据进行数据关联分析，处理得到待预警数据，所述预警模块选用Prometheus预警模块，Prometheus预警模块根据预警信息进行预警。进一步的，所述Topology由多个计算节点组成，每个所述计算节点都与规则引擎接通，并且每个所述计算节点并行运行且互相传递数据，所述规则引擎拉取计算节点接收的所述待处理数据，进行数据关联分析处理为以供Prometheus预警模块使用的待预警数据；待预警数据根据业务类型分类，每一类作为一个任务对象，判断任务对象是否满足规则条件；若满足规则条件，则给任务对象增加相似性属性；规则条件为相似性属性和时间范围，在Drools的内存存储里查找任务对象；若所述内存存储里存在符合条件的任务对象，则任务对象里的关联次数累加；所述内存存储里无符合条件的任务对象时，重新创建一个任务对象以供关联；任务对象里的关联次数达到次数门限时，Prometheus预警模块进行预警。进一步的，所述计算节点由Spout和多个Bolt组成，所述Spout从所述数据收集端口接收所述待处理数据并发送给Bolt；所述Bolt接收Spout发送的待处理数据，所述bolt将待处理数据处理后发送给其他Bolt，所述Bolt与所述规则引擎接通，所述规则引擎拉取Bolt中的待处理数据并进行数据关联分析。进一步的，多个所述bolt之间通过消息传递分发策略来传递待处理数据。进一步的，多个所述Bolt包括负责归一化的归一化Bolt进程和负责与规则引擎关联的关联Bolt进程，一个Spout节点接收所述待处理数据，并将待处理数据通过ShuffleGrouping发送给多个归一化Bolt进程，所述归一化Bolt进程将待处理数据归一化后发送到多个关联Bolt进程；所述关联Bolt进程将待处理数据发送给规则引擎作以供数据关联分析。进一步的，所述关联Bolt进程在初始化时预先对接规则引擎，关联Bolt进程收到归一化Bolt进程发送的待处理数据后，将待处理数据批量送入规则引擎以供数据关联分析，待预警数据根据业务类型分类，每一类作为一个任务对象；所述规则引擎收到任务对象后将任务对象缓存在规则引擎内置的内存存储里，关联分析成功后任务对象从内存存储中删除。进一步的，所述关联分析中，所述内存存储定时删除存储的任务对象。进一步的，设定所述关联次数的阈值，关联次数达到阈值时，Prometheus预警模块进行预警，所述预警通过电子数据方式发送给用户。本专利技术的有益效果体现在：本专利技术提出一种基于大数据的流处理预警的方法，构建Storm分布式集群作为数据处理模块，数据处理模块从数据收集端口接收待处理数据，通过Drool构建规则引擎，数据处理模块和规则引擎共同将待处理数据处理为待预警数据，预警模块根据待预警数据发出警报，将规则引擎与Storm分布式集群结合，规则引擎拉取分布式集群中的待处理数据进行数据关联分析得到待预警数据后进行预警，提升了海量数据实时分析处理能力，并且能够及时获取危险预警信息并及时发出预警。具体实施方式下面将对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。本专利技术提出一种基于大数据的流处理预警的方法，主要包括步骤：构建Storm分布式集群作为数据处理模块，数据处理模块从数据收集端口接收待处理数据，通过Drool构建规则引擎，数据处理模块和规则引擎共同将待处理数据处理为待预警数据，预警模块根据待预警数据发出警报，将规则引擎与Storm分布式集群结合，规则引擎拉取分布式集群中的待处理数据进行数据关联分析得到待预警数据后进行预警，提升了海量数据实时分析处理能力，并且能够及时获取危险预警信息并及时发出预警。数据收集端口可以是agent客户端，或用户设备的程序端口。例如在微信客户端中，微信客户端能够主动搜集一些数据内容，然后上报微信服务器，微信服务器提供的端口作为前述数据收集端口，端口与storm分布式集群对接，收集的数据作为待处理数据。具体的，基于开源分布式的Storm分布式集群构建Topology架构作为数据处理模块；规则引擎从数据处理模块拉取待处理数据进行数据关联分析，待处理数据从数据收集端口拉取，规则引擎通过关联分析进行处理得到待预警数据，所述预警模块选用Prometheus预警模块，Prometheus预警模块根据预警信息进行预警。所述Topology由多个计算节点组成，计算节点可以是呈树状式的，可以是某一个或多个计算节点从数据收集端口拉取待处理数据，每个计算节点都与规则引擎接通，并且每个所述计算节点并行运行且互相传递数据，所述规则引擎拉取计算节点接收的所述待处理数据，进行数据关联分析处理为以供Prometheus预警模块使用的待预警数据；待预警数据根据业务类型分类，每一类作为一个任务对象，判断任务对象是否满足规则条件；若满足规则条本文档来自技高网...

【技术保护点】
1.一种基于大数据的流处理预警的方法，其特征在于：包括步骤：/n构建Storm分布式集群作为数据处理模块，所述数据处理模块从数据收集端口接收待处理数据，通过Drool构建规则引擎，所述数据处理模块和规则引擎共同将待处理数据处理为待预警数据；预警模块根据待预警数据发出警报。/n

【技术特征摘要】
1.一种基于大数据的流处理预警的方法，其特征在于：包括步骤：
构建Storm分布式集群作为数据处理模块，所述数据处理模块从数据收集端口接收待处理数据，通过Drool构建规则引擎，所述数据处理模块和规则引擎共同将待处理数据处理为待预警数据；预警模块根据待预警数据发出警报。


2.据权利要求1所述的一种基于大数据的流处理预警的方法，其特征在于：
基于开源分布式的Storm分布式集群构建Topology架构作为数据处理模块；
规则引擎从数据处理模块拉取待处理数据进行数据关联分析，处理得到待预警数据，所述预警模块选用Prometheus预警模块，Prometheus预警模块根据预警信息进行预警。


3.据权利要求2所述的一种基于大数据的流处理预警的方法，其特征在于：
所述Topology由多个计算节点组成，每个所述计算节点都与规则引擎接通，并且每个所述计算节点并行运行且互相传递数据，所述规则引擎拉取计算节点接收的所述待处理数据，进行数据关联分析处理为以供Prometheus预警模块使用的待预警数据；
待预警数据根据业务类型分类，每一类作为一个任务对象，判断任务对象是否满足规则条件；若满足规则条件，则给任务对象增加相似性属性；规则条件为相似性属性和时间范围，在Drools的内存存储里查找任务对象；若所述内存存储里存在符合条件的任务对象，则任务对象里的关联次数累加；所述内存存储里无符合条件的任务对象时，重新创建一个任务对象以供关联；任务对象里的关联次数达到次数门限时，Prometheus预警模块进行预警。


4.据权利要求3所述的一种基于大数据的流处理预警的方法，其特征在于：所述计算节点由Spout和多个Bolt组成，所述Spout从所述数据收集端口接收所述待处理数据并...

【专利技术属性】
技术研发人员：张国伟，焦东辉，
申请(专利权)人：北京杰思安全科技有限公司，
类型：发明
国别省市：北京;11