大数据环境下基于特征值反馈的安全数据采集优化方法技术

本发明专利技术公开了一种大数据环境下基于特征值反馈的安全数据采集优化方法，包括，将采集到的网络流量数据镜像为两部分，一部分离线存储，另一部分进行实时分析；对离线存储的网络流量数据进行安全特征分析，并将得到的安全特征值存入安全特征库；实时分析时，根据安全特征库中的安全特征值，对网络流量数据进行过滤，如果与安全特征值匹配，则网络流量数据为安全数据，对安全数据进行实时分析。本发明专利技术通过机器学习，提取安全特征值，并根据安全特征值对网络流量数据进行过滤，达到数据约减，减少冗余数据，提高实时分析效率的目的，实现了大数据环境下的安全数据采集优化。

【技术实现步骤摘要】
大数据环境下基于特征值反馈的安全数据采集优化方法
本专利技术涉及一种大数据环境下基于特征值反馈的安全数据采集优化方法，属于数据包采集

技术介绍
为了不断应对新的安全挑战，企业和组织先后部署了防火墙、安全网关、入侵检测和防护系统、漏洞扫描系统、防病毒系统、终端管理系统等，构建起了一道道安全防线。然而，这些复杂的IT资源及其安全防御设施在运行过程中不断产生大量的安全日志和事件，致使安全数据呈指数级增长，安全数据呈现出大规模、高纬度、高噪声、高复杂度的特点，造成“维度灾难”现象。为传统的安全信息与事件管理平台(SIEM)的计算能力及实时性需求提出新的挑战。如何结合实际需求，提出可实用的符合现在大数据环境下的安全数据采集完善方案至关重要。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种大数据环境下基于特征值反馈的安全数据采集优化方法。为了达到上述目的，本专利技术所采用的技术方案是：大数据环境下基于特征值反馈的安全数据采集优化方法，包括，将采集到的网络流量数据镜像为两部分，一部分离线存储，另一部分进行实时分析；对离线存储的网络流量数据进行安全特征分析，并将得到的安全特征值存入安本文档来自技高网...

【技术保护点】
大数据环境下基于特征值反馈的安全数据采集优化方法，其特征在于：包括，将采集到的网络流量数据镜像为两部分，一部分离线存储，另一部分进行实时分析；对离线存储的网络流量数据进行安全特征分析，并将得到的安全特征值存入安全特征库；实时分析时，根据安全特征库中的安全特征值，对网络流量数据进行过滤，如果与安全特征值匹配，则网络流量数据为安全数据，对安全数据进行实时分析。

【技术特征摘要】
1.大数据环境下基于特征值反馈的安全数据采集优化方法，其特征在于：包括，将采集到的网络流量数据镜像为两部分，一部分离线存储，另一部分进行实时分析；对离线存储的网络流量数据进行安全特征分析，并将得到的安全特征值存入安全特征库；实时分析时，根据安全特征库中的安全特征值，对网络流量数据进行过滤，如果与安全特征值匹配，则网络流量数据为安全数据，对安全数据进行实时分析。2.根据权利要求1所述的大数据环境下基于特征值反馈的安全数据采集优化方法，其特征在于：周期性的进行安全特征分析，对最近一周期内离线存储的网络流量数据进行安全特征分析，得到新的安全特征值，更新安全特征库。3.根据权利要求1所述的大数据环境下基于特征值反馈的安全数据采集优化方法，其特征在于：安全特征分析的过程为，将离线存储的网络流量数据重组还原为会话流，对会话流进行向量分割，作为安全特征...

【专利技术属性】
技术研发人员：俞皓，赵俊峰，夏元轶，贾雪，廖鹏，郭靓，于晓文，蒋甜，张路煜，姜帆，刘强，丁晓玉，曾锃，
申请(专利权)人：南京南瑞集团公司，南京南瑞信息通信科技有限公司，国网江苏省电力公司信息通信分公司，
类型：发明
国别省市：江苏,32