一种网络空间安全大数据智能分析方法、计算机可读介质技术

本发明专利技术提供了一种网络空间安全大数据智能分析方法、计算机可读介质。所述方法包括获取网络安全相关数据的步骤；还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作的步骤；提取预处理后的数据进行分析，实现网络安全监测的步骤；将网络安全监测结果进行展示的步骤。本发明专利技术基于大数据技术基础，解决安全分析中数据持续增长、类型复杂、来源多样等数据特性，同时使用用户及实体行为分析技术，能实现高级持续性恶意攻击以及内部违规行为等企业威胁有效检测。

An Intelligent Analysis Method for Large Data of Network Space Security and Computer Readable Media

The invention provides an intelligent analysis method for large data of network space security and a computer readable medium. The method includes the steps of obtaining network security-related data, restoring collected data, and different pretreatment operations for different types of network security-related data, extracting pretreated data for analysis, realizing the steps of network security monitoring, and displaying the results of network security monitoring. Based on large data technology, the invention solves the data characteristics of continuous growth, complex types and diverse sources of data in security analysis, and uses user and entity behavior analysis technology to realize effective detection of enterprise threats such as high-level persistent malicious attacks and internal violations.

【技术实现步骤摘要】
一种网络空间安全大数据智能分析方法、计算机可读介质
本专利技术涉及网络安全领域，尤其涉及一种网络空间安全大数据智能分析方法、计算机可读介质。
技术介绍
2016年，国家发布了《新型智慧城市评价指标》，网络安全作为一级指标被写入评价指标中，体现了网络安全的重要性和战略地位。在新型智慧城市的规划设计和建设过程中，网络空间安全成为制约城市发展的重要因素，是新型智慧城市建设的重要组成。但是，城市网络空间安全事件层出不穷；信息资源整合云平台安全防护问题突出；行业数据共享融合引发数据安全；网络空间安全责任边界划分不清晰。物联网、移动互联网、云计算、大数据等新兴信息技术带来了模糊的网络边界、全面互联的网络特性、威胁发生的连锁效应、个人信息与隐私数据泄漏、政府部门敏感信息泄露等安全威胁。随着现实世界和网络世界深度连接，网络安全和物理安全边界已经消失，网络威胁延伸到现实世界，大量隐私、敏感和高价值的信息数据和资产，必然引起不法分子和黑客等恶意攻击者的觊觎，从早期极客为核心的黑客黄金年代，到现在利益链驱动的庞大黑色产业，信息安全已经成为任何个人、企业、组织和国家所必须面对的重要问题。网络安全具有很强的隐蔽性，一个技术漏洞、安全风险可能隐藏几年都发现不了，结果是“谁进来了不知道、是敌是友不知道、干了什么不知道”，长期“潜伏”在里面，一旦有事就发作了。传统大数据分析以业务应用大数据分析居多，缺乏对网络空间安全大数据的采集、分析、呈现及应用。如何高效整合城市、区域的多源网络空间安全大数据信息资源，解决城市网络空间安全大数据来源单一，大数据安全智能分析有效性和精准性低下，大数据安全平台网络威胁情报信息共享匮乏，大数据安全业务呈现和监测预警形式不足等问题，是城市网络空间安全大数据治理面临的重要课题。
技术实现思路
为解决上述问题，本专利技术提供一种网络空间安全大数据智能分析方法，包括如下步骤：获取网络安全相关数据；所述网络安全相关数据包括指定行政区域内的网络安全数据、其余行政区域内和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息。还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、分布式存储归一化、归档。提取预处理后的数据进行分析，实现网络安全监测；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析。将网络安全监测结果进行展示。进一步的，日志信息的来源包括安全设备，和/或网络设备、和/或主机设备，和/或虚拟机，和/或操作系统、和/或应用系统，和/或中间件，和/或数据库，和/或终端设备，工控设备，和/或公共摄像头、和/或智能设备。所述流量信息，包括网络边界区域，和/或网络关键路径节点，和/或网络交互出入口的网络流量信息。所述云端数据信息，包括自由云端数据和/或第三方云端数据信息。进一步的，获取日志信息是对Syslog、NetFlow、自定义日志数据进行采集，对暴露在公网网络的威胁资产进行主动扫描，对内网进行扫描以获得内部资产数据。获取流量信息是通过部署流量分光器探索设备，和/或采用零拷贝技术获取镜像流量，以获取网络边界区域、网络关键路径节点、网络交互出入口的网络流量。获取情报信息是通过包括第三方共享信息源在内的情报源，获取包括最新0day漏洞，特征木马、黑白名单在内的威胁情报信息。进一步的，对日志信息，进行清洗、过滤和缓存；对流量数据，实现过滤、还原和解析；对情报数据进行数据查询和存储；对部分格式化、持久化数据进行提取和分布式存储。进一步的，对预处理后的数据进行分析所采用的分析方法包括事件关联和/或样本关联。其中，事件关联是通过对事件特征的搜索，实现对指定时间内已发生所有安全事件相关特征的统计；所述事件特征包括基本特征、通讯特征。所述样本关联是基于样本特征的搜索，通过动态特征关联不同样本，追踪样本产生的源头。进一步的，事件关联方法包括基于规则的事件关联、单事件关联、多事件关联、事件搜索、事件攻击过程还原、事件建模。基于规则的事件关联是通过基于逻辑表达式和统计条件的关联规则将事件进行关联。单事件关联是对符合单一规则的事件流进行规则匹配。多事件关联是对符合至少两个规则的事件流进行规则匹配。事件搜索是根据事件的基本特征或事件通讯特征，进行字段搜索，匹配相关事件。事件攻击过程还原是基于保存的搜索轨迹，进行数据关联，以还原完整的事件攻击过程。事件建模是通过对攻击行为进行建模，形成若干个特征规则，然后对网络流量进行匹配检测。进一步的，样本关联方法包括样本关联与样本搜索；所述样本搜索是根据样本特征进行单一条件搜索、组合搜索、二次搜索；所述样本特征包括基本特征、动态特征；所述样本关联是根据样本特征关联的数据发现若干个样本之间的联系，经过分析归纳后提取共有特征，为潜在的受害者提供有效的情报信息。进一步的，将网络安全监测结果进行展示的步骤能够进行整体态势、云安全态势、网站应用安全态势、工控安全态势展示。进一步的，所述方法还包括通过编辑器预先编制关联规则的步骤。本专利技术还公开了一种计算机可读介质，所述计算机可读介质具有记录在其上的能够由计算机执行的计算机程序，所述计算机程序在执行时使得所述计算机进行如上述的网络空间安全大数据智能分析方法的步骤。本专利技术的有益效果是：本专利技术基于大数据技术基础，解决了安全分析中数据持续增长、类型复杂、来源多样等数据特性，同时使用用户及实体行为分析技术，能实现高级持续性恶意攻击以及内部违规行为等企业威胁有效检测。本专利技术融合各种网络安全要素的基础上从宏观的角度实时评估网络的安全态势，并在发现威胁之后实现安全联动，及时阻断，为企业信息化管理部门的决策分析提供依据，保护客户核心资产。可以广泛应用于政府、金融、科研院校、能源、电信等行业的企事业内部网络安全威胁检测。附图说明图1是本方法的流程图。图2为本方法所应用系统的结构示意图。具体实施方式：在下文中，将参考附图1、2给出对实施例的详细描述，应当理解可以对实施例做出各种修改。具体来说，一个或者更多个实施例的一个或者更多个元素可以互相隔离，并且可以组合和/或用在其他实施例中以形成新的实施例。本专利技术的设计构思为：基于大数据技术基础，解决安全分析中数据持续增长、类型复杂、来源多样等数据特性，同时使用用户及实体行为分析技术，能实现高级持续性恶意攻击以及内部违规行为等企业威胁有效检测。本专利技术融合各种网络安全要素的基础上从宏观的角度实时评估网络的安全态势，并在发现威胁之后实现安全联动，及时阻断，为企业信息化管理部门的决策分析提供依据，保护客户核心资产。可以广泛应用于政府、金融、科研院校、能源、电信等行业的企事业内部网络安全威胁检测。需要说明的是，作为对现有技术的贡献，实现本方法的各个模块所组成的系统（如图2所示）可以为平台的形式，可采用集中部署、云端部署等多种方式，安全数据信息采集采用旁路部署方式，被部署在网络安全专网内部，互联网端通过防火墙与互联网进行网络连接，且互联网端通过单向关闸等边界接入设备将采集数据传输到网络安全专网端。无需改变网络拓扑，部署实施简单且安全可靠。下面对本专利技术进行详细说明。首先对所述方本文档来自技高网...

【技术保护点】
1.一种网络空间安全大数据智能分析方法，其特征在于，包括：获取网络安全相关数据；所述网络安全相关数据包括指定行政区域内的网络安全数据、其余行政区域内和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息；还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、分布式存储归一化、归档；提取预处理后的数据进行分析，实现网络安全监测；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析；以及将网络安全监测结果进行展示。

【技术特征摘要】
1.一种网络空间安全大数据智能分析方法，其特征在于，包括：获取网络安全相关数据；所述网络安全相关数据包括指定行政区域内的网络安全数据、其余行政区域内和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息；还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、分布式存储归一化、归档；提取预处理后的数据进行分析，实现网络安全监测；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析；以及将网络安全监测结果进行展示。2.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，日志信息的来源包括安全设备，和/或网络设备、和/或主机设备，和/或虚拟机，和/或操作系统、和/或应用系统，和/或中间件，和/或数据库，和/或终端设备，工控设备，和/或公共摄像头、和/或智能设备；所述流量信息，包括网络边界区域，和/或网络关键路径节点，和/或网络交互出入口的网络流量信息；所述云端数据信息，包括自由云端数据和/或第三方云端数据信息。3.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，获取日志信息是对Syslog、NetFlow、自定义日志数据进行采集，对暴露在公网网络的威胁资产进行主动扫描，对内网进行扫描以获得内部资产数据；获取流量信息是通过部署流量分光器探索设备，和/或采用零拷贝技术获取镜像流量，以获取网络边界区域、网络关键路径节点、网络交互出入口的网络流量；获取情报信息是通过包括第三方共享信息源在内的情报源，获取包括最新0day漏洞，特征木马、黑白名单在内的威胁情报信息。4.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，对日志信息，进行清洗、过滤和缓存；对流量数据，实现过滤、还原和解析；对情报数据进行数据查询和存储；对部分格式化、持久化数据进行提取和分布式存储。5.如权利要...

【专利技术属性】
技术研发人员：甘小伟，赵义，
申请(专利权)人：安徽谛听信息科技有限公司，
类型：发明
国别省市：安徽,34