一种基于大数据的网络安全防护方法及系统技术方案

本发明专利技术公开了一种基于大数据的网络安全防护方法及系统，涉及网络安全技术领域。该方法包括：探针采集设备采集网络出口的流量数据，将流量数据上传至标准化数据传输系统；日志审计系统采集网络内安全设备的日志数据，将日志数据上传至标准化数据传输系统；标准化数据传输系统定义数据存储策略，根据数据存储策略将采集到的流量数据和日志数据上传至数据库；网络防护平台抓取数据库中的流量数据和日志数据，根据预设的判断规则判断是否对流量数据和日志数据进行告警攻击行为处理。本发明专利技术可以实现对不同分区网络中部署的安全设备的数据和网络出口的流量数据进行采集，增加了数据源维度，提高防护安全性。提高防护安全性。提高防护安全性。

A network security protection method and system based on big data

【技术实现步骤摘要】
一种基于大数据的网络安全防护方法及系统


[0001]本专利技术涉及网络安全
，尤其涉及一种基于大数据的网络安全防护方法及系统。

技术介绍

[0002]目前，常用的网络安全防护方法是采集存储互联网或专网流量数据，对采集的数据进行安全性分析，然后根据分析结果对网络行为进行处置，如阻断、源IP加入黑名单等操作。
[0003]然而，现有的网络安全防护方法仅仅是对网络流量行为的采集和分析，缺乏对不同分区网络中部署的安全设备的数据的采集，导致安全防护能力较弱。

技术实现思路

[0004]本专利技术针对现有的网络安全防护方法缺乏对不同分区网络中部署的安全设备的数据的采集，安全防护能力较弱的问题，提供一种基于大数据的网络安全防护方法及系统。
[0005]一个方面，提供了一种基于大数据的网络安全防护方法，包括：探针采集设备采集网络出口的流量数据，将所述流量数据上传至标准化数据传输系统；日志审计系统采集网络内安全设备的日志数据，将所述日志数据上传至所述标准化数据传输系统；所述标准化数据传输系统定义数据存储策略，根据所述数据存储策略将采集到的所述流量数据和所述日志数据上传至数据库；网络防护平台抓取所述数据库中的所述流量数据和所述日志数据，根据预设的判断规则判断是否对所述流量数据和所述日志数据进行告警攻击行为处理。
[0006]作为可选的一种方案，探针采集设备采集网络出口的流量数据，将所述流量数据上传至标准化数据传输系统，具体包括：探针采集设备采集网络出口的流量数据，按照预设的标准格式将所述流量数据上传至标准化数据传输系统。
[0007]作为可选的一种方案，日志审计系统采集网络内安全设备的日志数据，将所述日志数据上传至所述标准化数据传输系统，具体包括：日志审计系统采集网络内安全设备的日志数据，按照预设的标准格式将所述日志数据上传至所述标准化数据传输系统。
[0008]作为可选的一种方案，还包括：威胁情报平台对所述告警攻击行为进行攻击特征提取，根据所述攻击特征生成威胁情报库，并将所述威胁情报库中的攻击特征上传至所述网络防护平台；所述网络防护平台根据预设的判断规则和所述攻击特征判断是否对所述流量数据和所述日志数据进行告警攻击行为处理。
[0009]作为可选的一种方案，根据所述数据存储策略将采集到的所述流量数据和所述日志数据上传至数据库，具体包括：以增量抽取、实时抽取的方式将采集到的所述流量数据和所述日志数据上传至数据库，所述数据库根据标准格式进行建表，形成多表结构，分别存储所述流量数据和所述日志数据。
[0010]另一个方面，提供了一种基于大数据的网络安全防护系统，包括：探针采集设备、日志审计系统、标准化数据传输系统、网络防护平台和数据库，其中：所述探针采集设备用于采集网络出口的流量数据，将所述流量数据上传至标准化数据传输系统；所述日志审计系统用于采集网络内安全设备的日志数据，将所述日志数据上传至所述标准化数据传输系统；所述标准化数据传输系统用于根据所述标准格式定义数据存储策略，根据所述数据存储策略将采集到的所述流量数据和所述日志数据上传至所述数据库；所述网络防护平台用于抓取所述数据库中的所述流量数据和所述日志数据，根据预设的判断规则判断是否对所述流量数据和所述日志数据进行告警攻击行为处理。
[0011]作为可选的一种方案，所述探针采集设备具体用于采集网络出口的流量数据，按照预设的标准格式将所述流量数据上传至标准化数据传输系统。
[0012]作为可选的一种方案，所述日志审计系统具体用于采集网络内安全设备的日志数据，按照预设的标准格式将所述日志数据上传至所述标准化数据传输系统。
[0013]作为可选的一种方案，还包括：威胁情报平台，用于对所述告警攻击行为进行攻击特征提取，根据所述攻击特征生成威胁情报库，并将所述威胁情报库中的攻击特征上传至所述网络防护平台；所述网络防护平台具体用于根据预设的判断规则和所述攻击特征判断是否对所述流量数据和所述日志数据进行告警攻击行为处理。
[0014]作为可选的一种方案，所述标准化数据传输系统具体用于以增量抽取、实时抽取的方式将采集到的所述流量数据和所述日志数据上传至数据库，所述数据库用于根据标准格式进行建表，形成多表结构，分别存储所述流量数据和所述日志数据。
[0015]上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术以全流量分析为基础，基于探针采集和日志审计等安全组件采集全网出口的关键数据，以数据分析为核心，结合告警处置、威胁情报、标准化数据传输与大数据关联等技术，实现网络安全防护的态势可感知、威胁可预警、攻击可视化的效果，利用对设备日志的采集和分析做到网络安全防护无遗漏，可以实现对不同分区网络中部署的安全设备的数据和网络出口的流量数据进行采集，增加了数据源维度，提高防护安全性。
[0016]本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。
附图说明
[0017]图1为本专利技术的网络安全防护方法实施例提供的流程示意图；图2为本专利技术的网络安全防护系统实施例提供的结构框架图。
具体实施方式
[0018]以下结合附图对本专利技术的原理和特征进行描述，所举实施例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0019]如图1所示，为本专利技术的网络安全防护方法实施例提供的流程示意图，该基于大数据的网络安全防护方法包括：S1，探针采集设备采集网络出口的流量数据，将流量数据上传至标准化数据传输系统；需要说明的是，网络出口可以为互联网出口或专网出口等，网络通信是通过数据包来完成的，所有信息都包含在网络通信数据包中。例如，两台终端通过网络进行沟通，都是借助发送与接收数据包来完成的。
[0020]可选地，采集的流量数据可以包括出数据的速度、入数据的速度、总流量和用户的数据流量。通过对以上数据流进行监控过滤，将不良信息有效的掌握在监控范围内，实际上就是针对网络通信数据包进行管理与控制，同时进行优化与限制，允许并保证有用数据包的高效传输，禁止或限制非法数据包传输。
[0021]S2，日志审计系统采集网络内安全设备的日志数据，将日志数据上传至标准化数据传输系统；应理解，网络内安全设备可以包括防火墙、WAF、网闸、IPS和IDS等。以防火墙为例，防火墙置于内部网络和外部网络之间，是内部网络和外部网络通信的必经之地，通过在防火墙上设置各种规则，对流经的流量进行各种控制，如记录、通过、丢弃、修改或报警等，可以生成相应的日志。通过采集防火墙的日志，可以收集数据的各类信息，例如，可以包括：数据包的发送时间、接受时间、源IP地址、目的IP通讯端口、数据包类型、源IP通讯端口和TCP数据包的标志位等。
[0022]以标志位为例，ACK为确认标志，表示远端系统已经成功接收所有数据；SYN为同步标志，该标志仅在建立TCP连接时有效，它提示TCP连接的服务端检查序列编号；FIN为结束标志，表示结束一个TCP会话，但对应端口还处于开放状态，准备接收后续数据；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的网络安全防护方法，其特征在于，包括：探针采集设备采集网络出口的流量数据，将所述流量数据上传至标准化数据传输系统；日志审计系统采集网络内安全设备的日志数据，将所述日志数据上传至所述标准化数据传输系统；所述标准化数据传输系统定义数据存储策略，根据所述数据存储策略将采集到的所述流量数据和所述日志数据上传至数据库；网络防护平台抓取所述数据库中的所述流量数据和所述日志数据，根据预设的判断规则判断是否对所述流量数据和所述日志数据进行告警攻击行为处理。2.根据权利要求1所述的基于大数据的网络安全防护方法，其特征在于，探针采集设备采集网络出口的流量数据，将所述流量数据上传至标准化数据传输系统，具体包括：探针采集设备采集网络出口的流量数据，按照预设的标准格式将所述流量数据上传至标准化数据传输系统。3.根据权利要求1所述的基于大数据的网络安全防护方法，其特征在于，日志审计系统采集网络内安全设备的日志数据，将所述日志数据上传至所述标准化数据传输系统，具体包括：日志审计系统采集网络内安全设备的日志数据，按照预设的标准格式将所述日志数据上传至所述标准化数据传输系统。4.根据权利要求1所述的基于大数据的网络安全防护方法，其特征在于，还包括：威胁情报平台对所述告警攻击行为进行攻击特征提取，根据所述攻击特征生成威胁情报库，并将所述威胁情报库中的攻击特征上传至所述网络防护平台；所述网络防护平台根据预设的判断规则和所述攻击特征判断是否对所述流量数据和所述日志数据进行告警攻击行为处理。5.根据权利要求1至4中任一项所述的基于大数据的网络安全防护方法，其特征在于，根据所述数据存储策略将采集到的所述流量数据和所述日志数据上传至数据库，具体包括：以增量抽取、实时抽取的方式将采集到的所述流量数据和所述日志数据上传至数据库，所述数据库根据标准格式进行建表，形成多表结构，分别存储所述流量数...

【专利技术属性】
技术研发人员：戴明，易宇洋，
申请(专利权)人：交通运输通信信息集团有限公司，
类型：发明
国别省市：