基于大数据分析的威胁预警监测系统、方法及部署架构技术方案

本发明专利技术公开了基于大数据分析的威胁预警监测系统、方法及部署架构，监测系统，包括，数据采集系统模块，对原始网络流量进行实时数据采集；数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理；实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示。用于多种业务场景下的网络安全威胁态势感知和深度分析，实现从攻击预警、攻击识别到分析取证的综合能力。

Threat early warning monitoring system, method and deployment framework based on large data analysis

The invention discloses a data analysis of the threat warning monitoring system, method and deployment architecture, based on the monitoring system, including data acquisition system module, real-time data acquisition of the original network traffic; data storage system module, the data acquisition system of data acquisition module for data merge and data cleaning after processing and storage management; the analysis module of the system Real-time Threat Intelligence, analysis and mining, text analysis, flow analysis, the full text search engine, real time processing depth on the safety data using data, combined with the security threat model, network intrusion behavior anomaly detection model and equipment model of real-time screening of unknown abnormal behavior; situational awareness display system module, the data visualization with real-time three-dimensional chemical library, the security situation of comprehensive display. It is used for network security threat situation awareness and depth analysis in various business scenarios, and realizes the comprehensive ability of attack early warning, attack identification and analysis and forensics.

【技术实现步骤摘要】
基于大数据分析的威胁预警监测系统、方法及部署架构
本专利技术涉及网络安全威胁预警
，尤其涉及一种基于大数据分析的威胁预警监测系统、方法及部署架构。
技术介绍
当前我国各政府部门和企事业单位都加大了网络安全建设的投入力度，部署了各种类型的安全设备或系统，如入侵检测系统(IDS)、入侵防御系统(IPS)、防火墙、杀毒软件等。但这些基于特征规则的传统安全设备只能检测已知攻击，漏报和误报均较高。安全运营中心(SOC)对安全系统的大量日志进行整合，不仅数据源单一，而且缺乏提供精准分析的能力与手段，安全分析人员从这些海量数据分析出有效线索无异于大海捞针。因此，SOC并未对网络安全积极防御起到有效作用。当前情况下，国家电网公司大力推进坚强智能电网和全球能源互联网建设，电网数字化和智能化程度不断提高，与此同时，随着智能化时代的迈入，电网日益受到来自互联网的计算机病毒、逻辑炸弹、木马的攻击，信息安全防护的难度大幅增加，对电力信息安全和智能电网的发展提出新的挑战。电网信息系统安全数据的采集和存储能力、信息系统安全威胁的发现感知能力、立体化纵深防御能力等方面，都面临着相比过去传统信息系统的安全防护体系更高的技术和管理规范化要求。尤其是在相关安全情报数据的数量、速度、种类的迅速膨胀的情况下，海量异构数据的融合、存储、管理和利用对传统的安全分析方法提出了重大的挑战。由于网络攻击行为通常分散在各地，攻击过程由多步骤实施，具有一定的复杂性，仅靠单个网络安全设备的日志信息无法完全还原出攻击原貌，这严重制约了网络安全分析人员评估整个网络环境的运行状态以及用户的活动情况。
技术实现思路
本专利技术的目的就是为了解决上述问题，提供一种基于大数据分析的威胁预警监测系统、方法及部署架构，用于多种业务场景下的网络安全威胁态势感知和深度分析，实现从攻击预警、攻击识别到分析取证的综合能力。为了实现上述目的，本专利技术采用如下技术方案：基于大数据分析技术的威胁预警监测系统，包括，数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；后台管理系统模块，对整个监测系统进行运维监控管理。所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；实时威胁智能分析系统模块依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；态势感知展示系统模块实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。所述实时威胁智能分析系统模块包括：分析中心模块、安全日志模块、可疑文件模块、威胁情报模块、前端取证模块及专家分析模块。所述分析中心模块包括IP行为画像模块和数据挖掘模块，IP行为画像模块实现对IP的整体画像，针对系统中存在的IP地址能搜索出来，查看与该IP相关的信息，还能钻取进入二级IP详细信息页面；通过提供全域IP钻取，对IP进行DNS请求、威胁情报命中、安全日志和网络流量多个维度的分析并持续钻取；通过DNS请求，能分析域名访问和C&C外联情况，IP命中的威胁情报和安全日志佐证被攻击情况，网络流量为回溯取证提供依据；数据挖掘模块实现对攻击关联图、攻击源分布、时序图、威胁类型分布、威胁情报命中及力导图中的数据进行挖掘。所述攻击关联图整体展示安全日志中关联的内部、外部主机IP之间的相关性；攻击源分布展示全球地图分布上的安全威胁情况，根据安全日志的源IP的Geo地理位置按国家、城市进行聚合统计；时序图模块根据安全日志中的威胁事件发生的时间进行聚合；威胁类型分布能挖掘出安全日志的威胁类型相关的数据；威胁次数根据安全日志的威胁类型进行聚合，并与威胁单位进行关联；力导图实现了对安全日志中主机IP与威胁IP的关联，根据主机IP与大数据量威胁IP进行关联分析；威胁情报命中实现了对黑IP、黑域名、黑MD5数据的挖掘，根据威胁情报库与安全日志中的主机IP进行碰撞关联，对被威胁的IP主机数和威胁次数进行统计。所述安全日志功能模块记录了所有类型的威胁事件日志，提供关键词检索、自定义时间查询或者实时查询、标签过滤、删除事件日志、下载事件数据包、日志研判；可疑文件模块记录所有已发现的可疑的文件，并将这些文件及其静态、动态检测报告存储在大数据的分布式文件系统之中；威胁情报模块支持黑IP、黑域名、黑MD5、黑URL四类数据；对四类数据对命中趋势图、地理位置分布图、命中次数、命中主机IP占比进行分析展示，还实现对这四类数据的导入；前端取证模块实现数据采集系统模块中不同前端设备的分开配置操作，进行数据包管理、警报配置、行为模型及前端回查；专家分析模块为整个系统提供所有关键性数据的查询，包括但不限于：APT威胁事件、恶意文件、TCP会话、UDP会话、DNS。所述态势感知展示系统模块采用数据可视化工具库，实时、立体地对安全威胁态势进行综合展示，包括单位威胁态势、行业威胁态势、资产安全态势、威胁报告管理、运维监控、组织管理及系统管理。所述后台管理系统包括运维监控模块、组织管理模块、系统管理模块；运维监控模块包括全局监控、前端状态、运维告警、告警配置；组织管理模块包括监控单位管理和前端设备管理模块；监控单位管理模块对客户单位进行管理；前端设备管理模块对前端设备进行信息维护；系统管理模块包括用户管理、角色管理、权限管理、菜单管理、安全审计、配置管理及数据字典。采用所述基于大数据分析技术的威胁预警监测系统的方法，包括，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；对采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；采用数据可视化工具库实时、立体地对安全威胁态势进行综合展示。一种所述基于大数据分析技术的威胁预警监测系统的部署架构，包括前端安全设备采集器，所述前端安全设备采集器与采集器通信，所述采集器与预处理服务器通信，预处理服务器汇总采集器上报的数据，并对上报数据进行统一的范式化处理，对采集的数据进行数据归并、数据清洗操作，并根据不同业务把数据存储到不同的存储系统上；预处理服务器与hadoop服务器通信，预处理完成的数据本文档来自技高网...

【技术保护点】
基于大数据分析技术的威胁预警监测系统，其特征是，包括，数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；后台管理系统模块，对整个监测系统进行运维监控管理。

【技术特征摘要】
1.基于大数据分析技术的威胁预警监测系统，其特征是，包括，数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；后台管理系统模块，对整个监测系统进行运维监控管理。2.如权利要求1所述基于大数据分析技术的威胁预警监测系统，其特征是，所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；实时威胁智能分析系统模块依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；态势感知展示系统模块实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。3.如权利要求1所述基于大数据分析技术的威胁预警监测系统，其特征是，所述实时威胁智能分析系统模块包括：分析中心模块、安全日志模块、可疑文件模块、威胁情报模块、前端取证模块及专家分析模块。4.如权利要求3所述基于大数据分析技术的威胁预警监测系统，其特征是，所述分析中心模块包括IP行为画像模块和数据挖掘模块，IP行为画像模块实现对IP的整体画像，针对系统中存在的IP地址能搜索出来，查看与该IP相关的信息，还能钻取进入二级IP详细信息页面；通过提供全域IP钻取，对IP进行DNS请求、威胁情报命中、安全日志和网络流量多个维度的分析并持续钻取；通过DNS请求，能分析域名访问和C&C外联情况，IP命中的威胁情报和安全日志佐证被攻击情况，网络流量为回溯取证提供依据；数据挖掘模块实现对攻击关联图、攻击源分布、时序图、威胁类型分布、威胁情报命中及力导图中的数据进行挖掘。5.如权利要求4所述基于大数据分析技术的威胁预警监测系统，其特征是，所述攻击关联图整体展示安全日志中关联的内部、外部主机IP之间的相关性；攻击源分布展示全球地图分布上的安全威胁情况，根据安全日志的源IP的Geo地理位置按国家、城市进行聚合统计；时序图模块根据安全日志中的威胁事件发生的时间进行聚合；威胁类型分布能挖掘出安全日志的威胁类型相关的数据；威胁次数根据安全日志的威胁类型进行聚合，并与威胁单位进行关联；力导图实现了对安全日志中主机IP与威胁IP的关联，根据主机IP与大数据量威胁IP进行关联分析；威胁情报命中实现了对黑IP、黑域名、黑MD5数据的挖掘，根据威胁情报库与安全日志中的主机IP进行碰撞关联，对被威胁的IP主机数和威胁次数进行统计。6.如权利要求3所述基于大数据分析技术的威胁预警监测...

【专利技术属性】
技术研发人员：刘冬兰，刘新，马雷，常英贤，于灏，谭虎，赵晓红，王文婷，井俊双，
申请(专利权)人：国网山东省电力公司电力科学研究院，山东中实易通集团有限公司，国家电网公司，
类型：发明
国别省市：山东,37