面向APT防护的海量检测数据分析系统技术方案

本发明专利技术公开了一种面向APT防护的海量检测数据分析系统，该系统包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。本发明专利技术方案利用大数据技术对监控检测数据进行深度关联分析，不仅能够实现事前预警，也可实现事中阻断，还可实现事后审计溯源。

A Massive Detection Data Analysis System for APT Protection

【技术实现步骤摘要】
面向APT防护的海量检测数据分析系统
本专利技术属于大数据分析
，涉及一种面向APT防护的海量检测数据分析系统。
技术介绍
APT(advancedpersistentthreat)即高级持续性威胁攻击，其不同于传统的网络人侵，APT侧重渗透和获取信息，以窃取企业和政府核心信息资产为主要目的。APT的特点表现在A和P2个特性上：A代表Advanced，主要表现在攻击手段高超，攻击行为特征难以提取，攻击单点隐蔽性强，攻击渠道多样化以及攻击空间不确定。P代表Persistent，主要表现在攻击持续和隐蔽时间长，它使网络威胁从散兵游勇式的随机攻击变成有目的、有组织、有预谋的群体式攻击，使传统的以实时检测、实时阻断为主体的防御方式难以再发挥作用。目前，APT攻击事件已趋于爆发式增长。虽说已引起了政府和企业的高度重视，但现有防御方案大都具有一定的局限性，无法覆盖全局，从而可能导致漏报，而且很多产品只能检测APT攻击，却无法提供实时防护功能。
技术实现思路
本专利技术目的在于提供一种面向APT防护的海量检测数据分析系统，针对APT这种群体式攻击给传统的以实时监测、实时阻断为主体的检测技术带来的巨大冲击，利用大数据技术对监控检测数据进行深度关联分析，不仅能够综合分析目标系统是否存在被攻击的风险，进而实现事前预警，也可发现正在进行的攻击，更加准确地理解意图和反向追踪，实现对威胁的综合研判，从而及时采取相关的策略阻止攻击，实现事中阻断，还可同时对安全审计信息进行大数据分析，根据追踪路径重现数据的历史状态和演变过程，实现事后审计溯源。为解决上述技术问题，本专利技术采用如下的技术方案：一种面向APT防护的海量检测数据分析系统，该系统包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。进一步地，所述数据采集层的数据来源包括流量镜像、防火墙、UDS及IPS等。进一步地，所述数据处理层由安全检测模块、安全审计模块以及大数据关联分析模块组成。进一步地，所述安全检测模块包含低位检测及高位检测功能。进一步地，所述大数据关联分析模块含有横向关联分析及纵向关联分析功能。进一步地，所述安全审计模块包含漏洞分析及攻击溯源功能。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案针对APT这种群体式攻击给传统的以实时监测、实时阻断为主体的检测技术带来的巨大冲击，利用大数据技术对监控检测数据进行深度关联分析，进而实现事前预警及对威胁的综合研判，及时采取相关的策略阻止攻击，实现事中阻断以及事后审计溯源。附图说明图1是面向APT防护的海量检测数据分析系统的整体框架图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参照图1，本专利技术的一种面向APT防护的海量检测数据分析系统，该系统包括：数据采集层以及数据处理层；其中，所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理；所述数据采集层的数据来源包括流量镜像、防火墙、UDS、IPS等一系列物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景。数据处理层有安全检测模块、安全审计模块及大数据关联分析模块，其中安全检测模块又包括低位检测模块和高位检测模块，大数据关联分析模块分为横向关联分析模块和纵向关联分析模块，安全审计模块分为漏洞分析模块及攻击溯源模块，每个模块由多种技术实现。1)低位检测模块由于APT普遍采用Oday漏洞获取权限，通过未知木马进行远程控制，而传统基于特征匹配的检测设备总是要先捕获恶意代码样本，才能提取特征并基于特征进行攻击识别，这就存在先天的滞后性。低位检测是面向终端的异常发现预警应急响应平台的子系统。系统与传统的安全防护软件有本质技术区别。安全增强模块采用异常发现理论模型，不仅能够对已知威胁进行有效监测，同时能够对未知威胁及时发现。异常发现分析与预警子系统包含应用异常发现模块、系统异常发现模块、通信异常发现模块、传输异常发现模块、数据异常发现模块和其他异常发现模块。内部主要逻辑是关联异常发现、决策判决和预警。关联异常发现是根据策略库信息判断异常集的危害等级，即风险，对潜在威胁进行2次推测；其策略库可通过I/O接口与高位监测通信并进行更新、预警，根据用户属性库信息对威胁进行第3次推断，并可通过I/O接口将异常数据集上传，以寻求更为精确的第4次威胁推断。用户属性库的数据可通过用户自主定义或者通过关联各模块收集的用户操作习惯的结果集进行缓慢调整而生成。构建用户属性库的目的是关联用户社会属性，以感知定制性的威胁渗透。低位检测不仅可以支持高位检测，还可以通过预警I/O的输出接口，将预警信息发送给其他安全防护系统，如杀毒软件、蜜网和防火墙等。2)高位检测模块高位检测是面对源头和途径的异常发现预警应急响应平台的核心。高位检测的优势在于可以捕获发现大量骨干网络的异常，挖掘发现大量攻击实施者的资源，检测发现大量源头恶意应用。关联低位检测数据，可使高位检测具备“大视野”的能力，可以有效地分析发现未知威胁，追溯攻击者身份，应对APT攻击。高位检测技术包括基于流模式对网络服务进行快速识别和分类技术；基于信息论对流量进行认知识别和特征提取技术；基于内容分析的网络监测技术；基于行为特征的检测技术；以网络数据流和网络行为为中心，多角度检测分析计算异常发现技术；针对检测分析获取的网络异常技术；采用多层次网络异常关联与数据融合技术；多层次网络异常关联规则库构建技术等。高位检测通过统计IP层、传输层、应用层等各协议层的特征，建立正常用户网络访问模型，检测可能的异常行为，包括流量传输异常、DNS的速变攻击行为和其他木马的异常网络行为。研究业务网络和出入口网络上用户的不同行为特征，分别对业务网络行为特征和边界网络行为特征建立异常模型，发现未知威胁。高位检测的核心是异常决策引擎，低位检测数据通过I/O接口为高位异常发现决策提供支持。此外低位检测中传输异常发现模块中的异常数据包也可通过与网络信息流对应的I/O接口传入高位检测体系进行深度分析。异常决策引擎的结果可由对应的I/O接口输出，供低位检测参考。异常发现的结果集亦可通过I/O接口为其他安全防护平台提供技术支持。3)安全审计模块安全审计模块收集包括系统日志、资源使用、用户行为以及网络流量等日志和数据记录，并利用漏洞分析子模块和攻击溯源子模块初步分析所收集的数据，除使用传统的黑名单、白名单等分析方法外，更要结合大数据关联分析模块进行综合研判，以从大量的、混杂的日志记录和数据记录中挖掘出潜在威胁问题。4)大数据关联分析模块对低位检测与高位检测的监测数据、安全审计信息进行关联分析和数据挖掘，找出记录之间的相关性，发现新的特征。对于挖掘出来的样本数据进行人工的分类或聚类，以机器学习的方法用分类结果构建特征库训练集，不断提高特征库的分类准确率。利用大数据技术对安全审计模块收集的日志记录、高位检测模块以及低位检测模块的监控数据进行大数据关联分析，以综合分析目标本文档来自技高网...

【技术保护点】
1.面向APT防护的海量检测数据分析系统，其特征在于，所述系统包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。

【技术特征摘要】
1.面向APT防护的海量检测数据分析系统，其特征在于，所述系统包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。2.根据权利要求1所述的面向APT防护的海量检测数据分析系统，其特征在于，所述数据采集层的数据来源包括流量镜像、防火墙、UDS及IPS等。3.根据权利要求1所述的面向APT防护的海...

【专利技术属性】
技术研发人员：徐继峰，祁建明，周峻松，陈墩金，
申请(专利权)人：广州明领基因科技有限公司，
类型：发明
国别省市：广东,44