利用拐点半径实现动态自适应聚类的网络入侵检测方法技术

本发明专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法，其特征在于，包括如下步骤：对多维数据记录进行降维操作；对降维后的数据记录的特征向量进行标准化变化；将标准化后的数据记录视作一个节点，应用欧几里得算法计算节点间的距离以表示节点间的关联度，依据节点间的关联度进行初始聚类，将初始聚类中所有簇的中心作为抽象节点，重复聚类过程，完成最终聚类；判断各个簇中的节点是否正常，若簇中正常节点的比例大于异常节点的比例，则将此簇的所有节点划为正常类；否则将此簇的所有节点划为异常类。本发明专利技术方法可以实现网络行为数据的自动聚类以及优化，其在检测率与稳定性方面具有明显优势。

Network intrusion detection method based on dynamic adaptive clustering using inflection radius

【技术实现步骤摘要】
利用拐点半径实现动态自适应聚类的网络入侵检测方法
本专利技术属于网络安全
，涉及利用拐点半径实现动态自适应聚类的网络入侵检测方法。
技术介绍
互联网技术的飞速发展深刻影响着人类的生产生活方式，上网活动已经成为人类日常生活的重要组成部分。然而，这种全球性的网络高度普及也引发了一系列的安全问题。计算机网络协议的开放性与灵活性使得信息系统更容易受到入侵者的攻击，由此需要针对计算机网络进行持续监控和保护。用户身份验证、数据加密与防火墙便是用于保护计算机安全的传统技术。后来出现的入侵检测系统(IntrusionDetectionSystems，IDS)则使用了特定的分析技术来检测攻击、识别攻击源并向网络管理员发出警报。对于异常检测，入侵检测系统往往使用行为模式来指示恶意活动，通过分析过去的活动以识别观察到的行为是否正常。早期的入侵检测系统主要使用特征码技术检测满足其特征码数据库标识的所有攻击，具有一定的滞后性，并且漏报率较高。基于行为建模是新出现的检测方法之一，需要综合利用数据挖掘、统计分析以及人工智能等多种技术。事实上，客户机针对Web服务器的访问具有时间随意性，也因此自然而然地产生大量流量。每个网络连接都可抽象可视化为一组属性，网络传输数据以此种方式记录下来，并作为数据基础用来研究和分类正常及异常传输。对于NSL-KDD数据集，该数据集是其前身KDD'99数据集的改进版本，其中包含有完整的KDD数据集基本记录，但信息维数更多，网络连接描述更为细致，并且删除了其中原有的冗余记录以便使分类更为精确。众多学者借助NSL-KDD数据集开展了针对网络入侵检测更为深入广泛地研究。例如，L.Dhanabal等分析了NSL-KDD各维度信息的具体含义，论述各种分类算法在网络流量异常检测中的有效性，并归纳总结出常用网络协议栈中的可用协议与入侵者异常网络攻击之间的关系；Wei-ChaoLin等则提出了CANN(ClusterCenterAndNearestNeighbor)算法[3]，基于一维距离的特征测量，利用K-最近邻(kNN，k-NearestNeighbor)分类算法实现入侵检测。然而，现有研究大部分都属于监督类型的检测算法，对于没有类别标记以及数据识别特征不明显的网络访问连接，无法准确训练入侵检测模型，从而造成检测准确度不高。
技术实现思路
本专利技术的目的是提供利用拐点半径实现动态自适应聚类的网络入侵检测方法，可以实现网络行为数据的自动聚类以及优化，其在检测率与稳定性方面具有明显优势。本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法，包括如下步骤：步骤1：对网络连接的多维数据记录进行降维操作；步骤2：对降维后的数据记录的特征向量进行标准化变化；步骤3：将标准化后的数据记录视作一个节点，应用欧几里得算法计算节点间的距离以表示节点间的关联度，依据节点间的关联度进行初始聚类，将初始聚类中所有簇的中心作为抽象节点，重复聚类过程，完成最终聚类；步骤4：判断各个簇中的节点是否正常，若簇中正常节点的比例大于异常节点的比例，则将此簇的所有节点划为正常类；否则将此簇的所有节点划为异常类。在本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法中，所述步骤1具体为：在多维度中挑选一个维度的特征向量作为分类依据，利用SVM向量机分类出训练集中的正常、异常簇，然后计算此维度的特征向量对应的Fisher评分，循环上述过程，直到多个维度的Fisher评分计算完成。在本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法中，所述步骤2具体为：每个数据记录f按公式(1)计算其特征值的平均绝对偏差：其中，Eif是数据记录f的i个属性特征向量，Pf是f的平均特征向量，即：按照公式(3)求得数据记录f各维度特征值标准化后的特征向量。其中，Sif表示标准化后的特征向量。在本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法中，所述步骤3包括：步骤3.1：将数据集中的每个数据记录视作一个节点，基于欧几里得距离计算每个节点Xi与其他节点Xj的距离dij；步骤3.2：累加每个节点Xi与其他节点Xj的距离dij，得到该节点临边距离之和，即步骤3.3：将临边距离之和Di值最小的节点Xmin作为簇的初始中心，即Ci＝Xmin；步骤3.4：计算初始簇中心Ci的拐点半径dmax；步骤3.5：将以Ci为圆心，将拐点半径dmax范围内的节点与Ci聚合为一个簇；步骤3.6：去除已聚合的节点，循环步骤3.2至步骤3.5，直到簇数不再变化；步骤3.7：将剩余未聚合的节点同其距离最近的簇中心聚合，完成所有节点的初始聚类划分；步骤3.8：将初始聚类中所有簇的中心作为抽象节点，替代原有簇，并将这些抽象节点作为新一轮聚类迭代的节点；步骤3.9：再一次循环步骤3.1至步骤3.7，结束最终聚类过程。在本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法中，所述步骤3.1中根据下式计算两个节点Xi和Xj的欧几里得距离：其中，xin为节点Xi的第n维的特征值，xjn为节点Xj的第n维的特征值。在本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法中，所述步骤3.4包括：步骤3.4.1：首先将初始簇中心与其他节点的距离集从大到小排序，得到新的距离集；步骤3.4.2：根据新的距离集作二维曲线图，距离对应的序号代表横坐标，距离代表纵坐标；步骤3.4.3：忽略曲线上明显的离群数值点，基于最小二乘法拟合原理，利用三次方程对二维曲线图进行拟合；步骤3.4.4：通过二阶求导计算出曲线拐点对应的横坐标值以及对应纵坐标的值，纵坐标的值即为拐点半径。本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法，至少具有以下有益效果：1)、智能的检测操作及较低的聚类成本改进MajorClust算法在忽略明显的离群点后，能够动态自适应计算出拐点半径作为聚类半径，不要求进行经验性调参，入侵检测消耗的成本更少。而传统的无监督型算法，将其应用于入侵检测时，为了提高检测率和聚类准确度，往往需要去除离群点后再进行经验性调参，在数据预处理和聚类模型优化处理上消耗大量成本。2)、良好的检测能力与稳定性离群点仅在计算拐点半径时被忽略，不影响它们在算法的入侵检测环节中被检测，保证入侵检测全覆盖。改进MajorClust算法具有全检能力及较高的自适应性，检测能力与稳定性也优于传统聚类算法。附图说明图1是本专利技术的利用拐点半径实现动态自适应聚类的网络入侵检测方法的流程图；图2是利用三次方程对二维曲线图进行拟合的曲线图。具体实施方式随着网络攻击日益频繁，传统安全防护产品也存在着漏洞，网络入侵检测作为信息网络安全的重要防护手段可弥补防火墙的不足，提供了有效的网络安全防护措施。对于监督型算法，其严重依赖训练数据集，在检测已知入侵行为的能力较强，但对未知入侵行为的检测能力较差，在实际入侵检测中的应用能力不够全面，适用性不强。对于无监督型算法，将其应用于入侵检测时，为了提高检测率和聚类准确度，往往需要去除离群点后再进行经验性调参(如Kmeans算法和DBSCAN算法)，在数据预处理和聚类模型优化处理上消耗大量成本，并且对于被去除的离群点没能继续检测它们是否异常。MajorClust是1999年由BennoStein与Oliv本文档来自技高网...

【技术保护点】
1.利用拐点半径实现动态自适应聚类的网络入侵检测方法，其特征在于，包括如下步骤：步骤1：对网络连接的多维数据记录进行降维操作；步骤2：对降维后的数据记录的特征向量进行标准化变化；步骤3：将标准化后的数据记录视作一个节点，应用欧几里得算法计算节点间的距离以表示节点间的关联度，依据节点间的关联度进行初始聚类，将初始聚类中所有簇的中心作为抽象节点，重复聚类过程，完成最终聚类；步骤4：判断各个簇中的节点是否正常，若簇中正常节点的比例大于异常节点的比例，则将此簇的所有节点划为正常类；否则将此簇的所有节点划为异常类。

【技术特征摘要】
1.利用拐点半径实现动态自适应聚类的网络入侵检测方法，其特征在于，包括如下步骤：步骤1：对网络连接的多维数据记录进行降维操作；步骤2：对降维后的数据记录的特征向量进行标准化变化；步骤3：将标准化后的数据记录视作一个节点，应用欧几里得算法计算节点间的距离以表示节点间的关联度，依据节点间的关联度进行初始聚类，将初始聚类中所有簇的中心作为抽象节点，重复聚类过程，完成最终聚类；步骤4：判断各个簇中的节点是否正常，若簇中正常节点的比例大于异常节点的比例，则将此簇的所有节点划为正常类；否则将此簇的所有节点划为异常类。2.如权利要求1所述的利用拐点半径实现动态自适应聚类的网络入侵检测方法，其特征在于，所述步骤1具体为：在多维度中挑选一个维度的特征向量作为分类依据，利用SVM向量机分类出训练集中的正常、异常簇，然后计算此维度的特征向量对应的Fisher评分，循环上述过程，直到多个维度的Fisher评分计算完成。3.如权利要求1所述的利用拐点半径实现动态自适应聚类的网络入侵检测方法，其特征在于，所述步骤2具体为：每个数据记录f按公式(1)计算其特征值的平均绝对偏差：其中，Eif是数据记录f的i个属性特征向量，Pf是f的平均特征向量，即：按照公式(3)求得数据记录f各维度特征值标准化后的特征向量。其中，Sif表示标准化后的特征向量。4.如权利要求1所述的利用拐点半径实现动态自适应聚类的网络入侵检测方法，其特征在于，所述步骤3包括：步骤3.1：将数据集中的每个数据记录视作一个节点，基于欧几里得距离计算每个节点Xi与其他节点Xj的...

【专利技术属性】
技术研发人员：罗文华，许彩滇，
申请(专利权)人：中国刑事警察学院，
类型：发明
国别省市：辽宁,21