一种安全数据分析系统技术方案

本申请实施例提供了一种安全数据分析系统，包括：Flume日志数据收集模块，用于获取日志数据，对日志数据进行预处理；Kafka日志数据分发集群，用于匹配Flume日志数据收集模块与Storm日志数据分析集群之间的数据处理速度；Storm日志数据分析集群，用于对日志数据进行安全分析处理；Elasticsearch数据存储与使用集群，用于存储经安全分析处理之后得到的安全分析数据，以及提供对安全分析数据的查询功能。本申请实施例提供一种适用于云端的安全数据分析系统，使安全数据分析能在云端实现，不需要侵入目标系统，只需接收目标系统投递的日志数据并对数据进行分析，安全分析之后的数据，在云端供用户查询，使得企业能够方便地对大规模的日志数据进行安全分析。

【技术实现步骤摘要】

本申请涉及数据安全
，特别是涉及一种安全数据分析系统。
技术介绍
企业定期收集TB(Terabyte，太字节)级的信息安全数据(如，网络事件、软件应用程序事件，以及人员活动事件)，用来作合规性、事后取证分析、预警等企业事务操作。随着企业启用的事件记录源越来越多，雇用的员工越来越多，部署的设备越来越多，运行的软件越来越多，信息安全数据还会继续增长。在现有的信息安全分析处理中，通常使用特定分析软件，或安全分析人员自己编写的临时的，零散的处理脚本进行分析处理。但是目前的分析软件使用自身提供的存储载体来存储数据，造成数据孤岛问题，如ossec(一个开源的多平台的入侵检测系统)的数据默认只能存mysql(一个关系型数据库管理系统)；而安全分析人员自己编写的临时/零散的处理脚本，往往无法应对大规模数据，产生误报，预警延迟等问题，甚至是根本无法处理完这些数据，因此安全功效得不到保证。随着企业向云架构迁移，并且收集的数据越来越多，所以适时需要一种新的安全数据分析的装置来解决这样的问题。
技术实现思路
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种安全数据分析系统。为了解决上述问题，本申请实施例公开了一种安全数据分析系统，包括：Flume日志数据收集模块，用于获取日志数据，对所述日志数据进行预处理，以及将经过初步处理的日志数据发送到Kafka日志数据分发集群；Kafka日志数据分发集群，用于接收所述Flume日志数据收集模块发送的日志数据，将所述日志数据发送至Storm日志数据分析集群，以及匹配所述Flume日志数据收集模块与所述Storm日志数据分析集群之间的数据处理速度；Storm日志数据分析集群，用于接收所述Kafka日志数据分发集群发送的日志数据，对所述日志数据进行安全分析处理，以及将经安全分析处理之后得到的安全分析数据发送至Elasticsearch数据存储与使用集群；Elasticsearch数据存储与使用集群，用于存储所述经安全分析处理之后得到的安全分析数据，以及提供对所述安全分析数据的查询功能。优选的，所述Flume日志数据收集模块包括：Source日志获取子模块，用于获取日志数据；Sink输出子模块，用于输出日志数据；多个Channel解耦子模块，用于匹配所述Source日志获取子模块的日志数据获取速度与所述Sink输出子模块的日志数据输出速度。优选的，所述日志数据包括：Ossec日志数据、Syslog日志数据；所述Flume日志数据收集模块包括：Ossec日志数据预处理子模块，用于对Ossec日志数据中进行合并处理；Syslog日志数据预处理子模块，用于对Syslog日志数据进行分类，将分类后的数据分发到不同的Channel解耦子模块中。优选的，所述Flume日志数据收集模块还进一步包括：通道监控子模块，用于监控所述多个Channel解耦子模块是否堵塞，当某一Channel解耦子模块堵塞时调整所述Source日志获取子模块向堵塞的Channel解耦子模块写入日志数据的速度。优选的，所述Kafka日志数据分发集群包括：多个Topic主题模块，用于分发不同分类的日志数据；所述Topic主题模块进一步包括：多个Partition分区子模块，用于对日志数据进行数据冗余，提升后续处理数据的并发数。优选的，所述Flume日志数据收集模块进一步包括：Kafka转发子模块，用于将日志数据输出到指定的Topic主题模块中指定的Partition分区子模块。优选的，所述Storm日志数据分析集群包括：多个Topology分析模块，用于对不同分类的日志数据进行分析处理；所述Topology分析模块进一步包括：Spout数据获取子模块，用于获取日志数据；一个或多个Bolt逻辑子模块，用于对日志数据进行逻辑分析。优选的，所述Spout数据获取子模块以及Bolt逻辑子模块由多个Executors逻辑执行单元组成；所述Storm日志数据分析集群还进一步包括：Executors配比监控模块，用于监控同一个Topology分析模块中，Spout数据获取子模块的Executors逻辑执行单元与Bolt逻辑子模块的Executors逻辑执行单元之间的数量配比是否合适；记录调用模块，用于在当前数量配比合适时，记录当前Executors逻辑执行单元的数量配比，在重启Topology分析模块时，直接使用记录的Executors逻辑执行单元的数量配比；Executors配比调整模块，用于在当前Executors逻辑执行单元数量配比不合适时，调整Executors逻辑执行单元的数量配比。优选的，所述Storm日志数据分析集群还进一步包括：节点监控模块，用于监控storm的关键进程，当关键进程异常时通知管理员进行人为检查；所述关键进程包括：nimbus任务分配进程，以及supervisor监听进程。优选的，所述Elasticsearch数据存储与使用集群包括：节点监控模块，用于监控用于接收Topology分析模块传送的数据的节点接口，当某一节点接口的进程消失时，重启该节点接口。优选的，所述Elasticsearch数据存储与使用集群包括：展现模块，用于展现经安全分析处理之后得到的安全分析数据。本申请实施例包括以下优点：本申请实施例通过Flume日志数据收集模块、Kafka日志数据分发集群、Storm日志数据分析集群以及Elasticsearch数据存储与使用集群构建了一种适用于云端的安全数据分析系统，使安全数据分析能在云端实现，不需要侵入目标系统，只需接收目标系统投递的日志数据并对数据进行分析，安全分析之后的数据，在云端供用户查询，使得企业能够方便地对大规模的日志数据进行安全分析。本申请实施例在Flume日志数据收集模块、Kafka日志数据分发集群、Storm日志数据分析集群以及Elasticsearch数据存储与使用集群都设置有监控层，监控模块或集群内部的处理进程。附图说明图1是本申请的一种安全数据分析系统实施例的结构框图；图2是本申请实施例中Flume日志数据收集模块的结构框图；图3是本申请实施例中Kafka日志数据分发集群的结构框图；图4是本申请实施例中Storm日志数据分析集群的结构框图；图5是本申请一种安全数据分析系统实施例本文档来自技高网...

【技术保护点】
一种安全数据分析系统，其特征在于，包括：Flume日志数据收集模块，用于获取日志数据，对所述日志数据进行预处理，以及将经过初步处理的日志数据发送到Kafka日志数据分发集群；Kafka日志数据分发集群，用于接收所述Flume日志数据收集模块发送的日志数据，将所述日志数据发送至Storm日志数据分析集群，以及匹配所述Flume日志数据收集模块与所述Storm日志数据分析集群之间的数据处理速度；Storm日志数据分析集群，用于接收所述Kafka日志数据分发集群发送的日志数据，对所述日志数据进行安全分析处理，以及将经安全分析处理之后得到的安全分析数据发送至Elasticsearch数据存储与使用集群；Elasticsearch数据存储与使用集群，用于存储所述经安全分析处理之后得到的安全分析数据，以及提供对所述安全分析数据的查询功能。

【技术特征摘要】
1.一种安全数据分析系统，其特征在于，包括：
Flume日志数据收集模块，用于获取日志数据，对所述日志数据进行预
处理，以及将经过初步处理的日志数据发送到Kafka日志数据分发集群；
Kafka日志数据分发集群，用于接收所述Flume日志数据收集模块发送
的日志数据，将所述日志数据发送至Storm日志数据分析集群，以及匹配所
述Flume日志数据收集模块与所述Storm日志数据分析集群之间的数据处理
速度；
Storm日志数据分析集群，用于接收所述Kafka日志数据分发集群发送
的日志数据，对所述日志数据进行安全分析处理，以及将经安全分析处理之
后得到的安全分析数据发送至Elasticsearch数据存储与使用集群；
Elasticsearch数据存储与使用集群，用于存储所述经安全分析处理之后
得到的安全分析数据，以及提供对所述安全分析数据的查询功能。
2.根据权利要求1所述的系统，其特征在于，所述Flume日志数据收
集模块包括：
Source日志获取子模块，用于获取日志数据；
Sink输出子模块，用于输出日志数据；
多个Channel解耦子模块，用于匹配所述Source日志获取子模块的日
志数据获取速度与所述Sink输出子模块的日志数据输出速度。
3.根据权利要求2所述的系统，其特征在于，所述日志数据包括：
Ossec日志数据、Syslog日志数据；所述Flume日志数据收集模块包括：
Ossec日志数据预处理子模块，用于对Ossec日志数据中进行合并处
理；
Syslog日志数据预处理子模块，用于对Syslog日志数据进行分类，
将分类后的数据分发到不同的Channel解耦子模块中。
4.根据权利要求3所述的系统，其特征在于，所述Flume日志数据
收集模块还进一步包括：
通道监控子模块，用于监控所述多个Channel解耦子模块是否堵塞，
当某一Channel解耦子模块堵塞时调整所述Source日志获取子模块向堵

\t塞的Channel解耦子模块写入日志数据的速度。
5.根据权利要求1或2或3或4所述的系统，其特征在于，所述Kafka
日志数据分发集群包括：
多个Topic主题模块，用于分发不同分类的日志数据；
所述Topic主题模块进一步包括：
多个Partition分区子模块，用...

【专利技术属性】
技术研发人员：王颖慧，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11