一种基于网络安全探针的流量快速精确检测方法技术

本发明专利技术公开了一种基于网络安全探针的流量快速精确检测方法，基于流量特征的设备资产识别接入控制技术及基于设备的智能安全管理模型。通过基于流量特征提取的设备资产识别方法,通过设置白名单，构建流量特征指纹库并通过在现有流识别算法基础上创新性的引入改进的随机森林算法与K

【技术实现步骤摘要】
一种基于网络安全探针的流量快速精确检测方法


[0001]本专利技术属于网络流量安全检测领域，涉及一种基于网络安全探针的流量快速精确检测技术。

技术介绍

[0002]在当今的社会中，计算机网络技术已然成为人们生活中必不可少的一个工具，其强大的计算能力，能帮助人们快速地统计数据，使其在日常工作中的效率得到提高。但同时也给我们带来了一定的挑战，不法分子通过系统漏洞针对有价值信息的篡改、窃取，对网络安全造成很大的威胁。针对这一情况，流量探针技术应运而生。网络流量探针技术是一种在高级专用网络中经常使用的预防性反病毒和反攻击设备，它通过对网络数据报文进行完整的包重组和协议还原，能够实时监测网络环境中的病毒传播与黑客攻击，全面检测各种网络病毒的扫描、传输、攻击等行为。
[0003]现有的流量检测识别算法，流识别算法具有两个重要特点，分别是不分时段性和持续性。基于流统计特性的识别方法普遍适用的流量特征，新的应用也符合这一特征，所以这种技术有发现新的应用的能力；有检测加密应用的能力。但是此方法由于传输层的特征一般不能明确指示应用层协议类型，所以这种方法对应用分类的能力较弱，而应用分类对于服务质量的实施是非常重要的。
[0004]现阶段检测技术中流量监测算法中大多使用哈希算法，哈希算法的优点能够更好地满足对流的快速查询，降低流ID所需的储存空间，但是具体查询过程中，却丢失了IP流的地址信息；而采用Bloom filter数据结构所展开的哈希算法，虽然其能够准确查询某个流是否真实存在，但却丢失了关于流大小的数据信息，并且还需要对每一个报文加以处理，增加了系统的开销。
[0005]现阶段检测技术中流量监测算法中也大量使用sketch算法，一般采用设置多个哈希函数，开辟一个二维地址空间，包经过不同哈希函数的处理，得到对应的哈希值，而这个哈希值就是sketch(概要)。这些哈希值可能产生冲突，多个种类的包可能有相同的哈希值，根据哈希值来确定包出现的次数则会偏大，所以设立多个哈希函数，取最小的哈希值，最接近实际包数据。
[0006]Sketch是使用哈希来进行估计网络流的一种测量方法，可以减少存储开销。但是其不存储元素，只存储它们Sketch的计数，会牺牲一定的准确性。
[0007]本研究采用一种更加优化的基于网络安全探针的流量智能检测技术，本文创新性的提出一种新的流量检测思路，基于资产的流量检测方法：资产
‑
流识别检测技术。该方法分两个步骤实现：第一步，基于流量特征的设备资产识别接入控制技术，为实现对可疑设备的接入控制,通过设置白名单,构建通信流量特征指纹,在现有流识别算法基础上创新性的引入改进的随机森林算法与K
‑
Means聚类算法相结合的而提出的新的K
‑
Random聚类算法来训练设备识别模型从而达到更全面的获取设备分类信息以及相关的流量，从而筛选出已知资产与未知资产；第二步骤，在资产识别的基础上，针对资产识别中的未知设备即白名单之
外的设备，在现有的流量监测算法基础上创新性的设计一种基于sketch算法与哈希算法相结合而提出的新的流量识别CM
Ⅱ‑
Sketch算法从而实现快速检测不同的数据流并提高流量检测的灵敏度以及识别潜在的威胁。本课题对推动流量检测技术发展具有重要意义。

技术实现思路

[0008]本专利技术针对现有的网络安全探针主要利用流识别算法来检测网络中的流量，然而现阶段的检测技术对应用分类的能力较弱，但是现阶段应用分类对于服务质量的实施是非常重要的。并且由于对称路由和丢包、重传现象的存在，导致无法精确确定流量特征，从而有可能对流量检测的精确度造成影响。而且还会丢失了IP流的地址信息；而采用Bloom filter数据结构所展开的哈希算法，虽然其能够准确查询某个流是否真实存在，但却丢失了关于流大小的数据信息，并且还需要对每一个报文加以处理增加了系统的开销。现阶段的Sketch算法对于低频的元素，估算值相对的错误可能会很大。
[0009]为了解决以上所述的问题，本专利技术创新性的提出了新的的技术方案：资产
‑
流识别检测技术，该技术包括基于流量特征的设备资产识别接入控制技术及基于设备的智能安全管理模型。通过基于流量特征提取的设备资产识别方法,通过设置白名单,构建流量特征指纹库并通过在现有流识别算法基础上创新性的引入改进的随机森林算法与K
‑
Means聚类算法相结合的而提出的新的K
‑
Random聚类算法来训练设备识别模型以及通过主被动的扫描，从而达到更全面的获取设备分类以及相关的流量,从而实现了对设备的分类，对非白名单设备的接入控制；设计了一种智能化的安全管理模型并运用了设备威胁建模的框架对内网设备进行安全管理；针对资产识别中的未知设备即白名单之外的设备，通过在现有的流量监测算法基础上创新性的设计一种基于sketch算法与哈希算法相结合从而设计出最优的未知流量监测算法CM
Ⅱ‑
Sketch算法，从而实现对流量的精准识别。
附图说明
[0010]图1Sketch算法示意图。
[0011]图2哈希表结构图。
[0012]图3随机模型示意图。
具体实施方式
[0013]以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。
[0014]本专利技术所用到的硬件设备有PC机1台、浪潮服务器1个、笔记本一台；
[0015]本专利技术提供一种基于网络安全探针的流量快速精确检测方法，具体包括以下步骤：
[0016]步骤1、在被检测的网络中部署流量探针设备，通过旁路方法，在不影响网络质量的情况下获取网络中的流量数据。
[0017]步骤2、针对步骤1中收集到的网络中的流量数据，首先应用资产的识别技术，通过识别新接入网络的设备,然后对设备进行漏洞评估,最后根据评估结果限制设备的通信。在设备识别过程中根据提取设备接入内网时的通讯协议，开放端口，开放协议等的信息,通过在现有流识别算法基础上创新性的引入改进的随机森林算法与K
‑
Means聚类算法相结合的
而提出的新的K
‑
Random聚类算法来训练设备识别模型进行设备识别，同时在特征的选取以及指纹的构建方法做了进一步的优化调整,提高了设备识别的准确率。
[0018]步骤3、本设计构建基于设备具体型号的的安全威胁数据库,不需要收到端口，协议等的是否开放的限制,通过搭建设备信息的数据库来实现威胁的自动发现与识别。而设计更侧重于构建基于设备信息和异常警报的知识模型来发现漏洞和威胁。
[0019]步骤4、我们针对内网设备建立设备白名单，对白名单之外的设备进行接入控制,避免存在严重漏洞隐患的设备接入内部网络。同时采用安全检测系统对白名单中的设备的异常通信，通过协议识别，应用识别，软件识别和操作系统识别以及第三方中间件的识别等的不同手段，检测白名单设备的异常行为并予以限制等，避免白名单设备被攻击者植入后门造成安全隐患。...

【技术保护点】

【技术特征摘要】
1.一种基于网络安全探针的流量快速精确检测方法，其特征在于：基于流量特征提取的设备资产识别方法，通过设置白名单构建流量特征指纹库并通过在现有流识别算法基础上创新性的引入改进的随机森林算法与K
‑
Means聚类算法相结合的而提出的新的K
‑
Random聚类算法来训练设备识别模型以及通过主被动的扫描，从而达到更全面的获取设备分类以及相关的流量，从而实现对设备分类，对非白名单设备的接入控制；设计了一种智能化的安全管理模型并运用了设备威胁建模的框架对内网设备进行安全管理；针对资产识别中的未知设备即白名单之外的设备，通过在现有的流量监测算法基础上创新性的设计一种基于sketch算法与哈希算法相结合从而设计出最优的未知流量监测算法CM
Ⅱ‑
Sketch算法，从而实现对流量的精准识别。2.根据权利要求1所述的一种基于网络安全探针的流量快速精确检测方法，其特征在于：具体包括以下步骤：步骤1、在被检测的网络中部署流量探针设备，通过旁路方法，在不影响网络质量的情况下获取网络中的流量数据；步骤2、针对步骤1中收集到的网络中的流量数据，首先应用资产的识别技术，通过识别新接入网络的设备，然后对设备进行漏洞评估，根据评估结果限制设备的通信；在设备识别过程中根据提取设备接入内网时的通讯协议，开放端口，开放协议的信息，通过在现有流识别算法基础上创新性的引入改进的随机森林算法与K
‑
Means聚类算法相结合的而提出的新的K
‑
Random聚类算法来训练设备识别模型进行设备识别，同时在特征的选取以及指纹的构建方法进一步优化调整，提高设备识别的准确率；步骤3、构建基于设备具体型号的的安全威胁数据库，不需要收到端口，协议是否开放的限制，通过搭建设备信息的数据库来实现威胁的自动发现与识别；构建基于设备信息和异常警报的知识模型来发现漏洞和威胁；步骤4、针对内网设备建立设备白名单，对白名单之外的设备进行接入控制，避免存在严重漏洞隐患的设备接入内部网络；同时采用安全检测系统对白名单中的设备的异常通信、通过协议识别、应用识别、软件识别和操作系统识别以及第三方中间件的识别等的不同手段，检测白名单设备的异常行为并予以限制，避免白名单设备被攻击者植入后门造成安全隐患；步骤5、在设备刚接入内网后就自动识别出设备的类型，根据设备白名单对设备型号进行过滤；接着，在白名单内的设备运行过程中进行实时的异常流量的检测，及时产生安全威胁报警信息；检测模型通过云服务器提供的安全威胁数据库对设备型号进行漏洞评估，并对潜在威胁的通讯协议、端口进行限制的安全措施；步骤6、对资产识别的未知设备和未知流量在实验过程中利用在现有的流量监测算法基础上创新性的设计一种基于sketch算法与哈希算法相结合从而设计出最优的未知流量监测算法CM
Ⅱ‑
Sketch算法，进而实现快速精准的识别网络流量以及潜在的威胁；步骤7、插入Sketch，使用的Sketch结构是经过改进的Count
‑
MinSketch结构，在K行W列二维数组中取K个返回值中的最小值作为结果；当然如果测量任务需要可以使用其他的Sketch结构；当数据报文p到来时，K个哈希函数分别进行哈希操作并对W取模，然后在对应数组位置进行插入操作；
算法运用到一类哈希函数定义如下：其中a为{2..p
‑
1}之间任意整数；b为{0，1..p
‑
1}之间任意整数；将设a为1，b为0；设p为大于2^32的素数，m1，m2....m
H
设为互质的整数，并且m1*
···
*m
H
≥p；CM
‑
Sketch的内部数据结构是一个二维数组count，宽度w，深度d，此外还需要d个两两独立的哈希函数h1...h
d
；更新的时候，用这些哈希函数算出d个不同的哈希值，然后把对应的行的值加上c；步骤8、结果近似性，这里以Q(i)为例，它的近似结果是：也就是所有哈希到的count取最小值；显然真实值一定比这个值更小或者相同；步骤9、对CM
Ⅱ‑
Sketch算法的设计来了一个查询，按照Count
‑
Min Sketch的正常流程，取出它的d个sketch对于每个hash函数，估算出一个噪音，噪音等于该行与该列所有整...

【专利技术属性】
技术研发人员：李如玮，赵广涛，杨震，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：