一种基于大数据的可视化网络安全监控方法技术

一种基于大数据的可视化网络安全监控方法，该方法包括如下步骤：首先通过信息采集模块收集网络数据，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；Kafka数据分发集根据不同的信息采集模块分发不同类型的网络数据至Storm数据分析集群；Storm集群对所有的网络数据进行安全分析处理，然后通过Topologies将处理后的数据发送到Kafka集群；Kafka集群接收到Storm分析处理后的数据后，根据Enrichment Topic模块分发至Storm数据分析集群；Storm集群接收到Kafka分发的处理后的数据后，进行网络安全数据的实时分析，最后将最终的分析数据分别存储到HDFS和Elasticsearch中供前端应用进行分析和展示。本发明专利技术可以全面、快速、准确的感知过去、现在、未来的安全威胁，实时了解网络的安全态势。

A visual network security monitoring method based on large data

A visualization of network security monitoring method based on large data, the method comprises the following steps: first, through the information acquisition module to collect network data, then sends the data through the network information acquisition module preliminary processing to the Kafka data distribution of cluster by Flume; Kafka data set according to the distribution of the information collection module of different distribution network data to Storm data different types of cluster analysis; Storm cluster analysis of all network data security, then the processed data is sent to the Kafka through the Topologies Kafka cluster; cluster analysis after receiving Storm data, according to the Enrichment Topic module distributed to Storm data analysis cluster; Storm cluster distribution after receiving processing Kafka the data, real-time analysis of network security data, finally analysis the final data are stored Stored in HDFS and Elasticsearch for front end applications for analysis and display. The invention can comprehensively, quickly and accurately perceive the security threats of the past, present and future, and realize the security situation of the network in real time.

【技术实现步骤摘要】
一种基于大数据的可视化网络安全监控方法
本专利技术涉及网络安全监控
，尤其是涉及一种基于大数据的可视化网络安全监控方法。
技术介绍
在网络安全事件中，网络安全的检测和监控仅能及时检测出系统中发生的攻击威胁，从而缩短攻击发生的应急响应的时间差，但是即便是最理想的威胁检测系统，当发生威胁警报时，威胁大多已经发生，对系统的危害已经造成，因此检测永远只能作为一种相对被动的安全机制，而无法对网络安全事件及时作出预警；并且随着网络环境的日趋复杂，网络数据也在逐渐的增大，传统的SIEM很难处理多样化的非结构数据，影响对网络安全的及时检测，信息安全面临大数据带来的挑战；因此，有必要提供一种新的技术方案以克服上述缺陷。
技术实现思路
本专利技术的目的在于提供一种可有效解决上述技术问题的基于大数据的可视化网络安全监控方法。为达到本专利技术之目的，采用如下技术方案：一种基于大数据的可视化网络安全监控方法，该方法包括如下步骤：步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原本文档来自技高网...

【技术保护点】
一种基于大数据的可视化网络安全监控方法，其特征在于：该方法包括如下步骤：步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墙日志、VPN身份证验证日志、Windows安全日志以及SYSLOG数据等，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；步骤102：Kafka数据分发集群接收到网络数据后，根据不同的信息采集模块分发不同类型的网络数据至Storm数据分析集群，并匹配Flum...

【技术特征摘要】
1.一种基于大数据的可视化网络安全监控方法，其特征在于：该方法包括如下步骤：步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墙日志、VPN身份证验证日志、Windows安全日志以及SYSLOG数据等，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；步骤102：Kafka数据分发集群接收到网络数据后，根据不同的信息采集模块分发不同类型的网络数据至Storm数据分析集群，并匹配Flume与Strom数据分析集群之间的数据处理速度；步骤103：Storm数据分析集群接收到Kafka数据分发集群分发的网络数据后，对所有的网络数据进行安全分析处理，然后通过Topologies(互联网络拓扑结构)将处理后的数据发送到Kafka数据分...

【专利技术属性】
技术研发人员：贾耘，王诗勇，
申请(专利权)人：深圳市众泰兄弟科技发展有限公司，
类型：发明
国别省市：广东,44