一种基于P2P僵尸节点感知的自适应网络流量采样方法技术

本发明专利技术公开了一种基于P2P僵尸节点感知的自适应网络流量采样方法，属于网络数据处理领域。本发明专利技术首先根据P2P僵尸网络的本质特性，从高速网络中以较小的开销提取出潜在P2P僵尸节点的IP地址；然后根据即时采样率分配算法对目标采样率进行分配，计算各个IP地址的即时采样率；最后用计算所得的即时采样率对报文进行采样，将采得的网络流量输入P2P僵尸网络检测系统，以便进行进一步细粒度的检测。本发明专利技术自适应调节速度快，感知P2P僵尸节点能力强，能在目标采样率不变的情况下，极大的提高P2P僵尸节点流量的采样率，可与已有的基于网络流量的P2P僵尸网络检测系统无缝集成。

【技术实现步骤摘要】
一种基于P2P僵尸节点感知的自适应网络流量采样方法
本专利技术涉及网络数据处理领域，特别是一种基于P2P僵尸节点感知的自适应网络流量采样方法。
技术介绍
P2P僵尸网络已然成为当今互联网所面临的最大安全威胁之一。相对于传统的基于IRC或HTTP的集中式僵尸网络，P2P僵尸网络表现的更加隐蔽且更难以被检测。P2P僵尸网络是由感染主机(僵尸节点,bots)所组成的P2P网络，它由攻击者(botmaster)通过命令和控制(CommandandControl,C&C)信道远程控制。攻击者可以利用这个平台发起分布式拒绝服务(DistributedDenial-of-Service,DDoS)攻击、发送垃圾邮件、窃取隐私信息等。目前的P2P僵尸网络检测系统多通过监测网络流量来实现对僵尸节点的检测。但是，随着网络链路带宽和互联网业务流量的高速发展，捕获并分析所有报文所需要的计算和存储开销越来越大，这就使得这些系统无法再适用于高速网络环境。为解决此问题，流量采样技术被广泛引入到高速网络中的网络流量处理场景中，以减少需要处理的报文数目，用有限的资源来完成对大批量网络流量的监测与分析。当前使用最广泛的流量采样技术是随机报文采样，它的特点是简单、可行、易于操作。这种采样方法对长流采样效果较好，但是往往会遗漏掉较多短流的信息。Smart采样、Sample-and-hold采样等一些其它采样方法，同样存在倾向于采集长流而对短流采样率很低的缺点。为克服此缺陷，研究者们提出了FlexSample等采样方法来保证对短流的采样率，同时不影响长流的采样率。但是，以上这些采样方法都不是专门针对P2P僵尸网络检测而设计的，因此在基于网络流量的P2P僵尸网络检测系统中只要使用经过以上采样方法采样后的网络流量，对P2P僵尸网络的检测精度不可避免的会受到影响。大量与P2P僵尸网络相关的报文可能会被丢弃，而采样到的报文中则可能大部分与P2P僵尸网络无关。针对P2P僵尸网络检测系统的采样方法应当最大程度地利用有限的资源，尽可能多的采集僵尸节点产生的报文，且尽可能少的采集其它节点产生的报文。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于P2P僵尸节点感知的自适应网络流量采样方法。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于P2P僵尸节点感知的自适应网络流量采样方法，该方法包括以下步骤：1)在高速网络的出口处，以时间窗口T为单位，对网络流量进行分片处理；建立并维护一个报文统计表，采集并统计单个时间窗口内出现的报文的关键属性，当时间窗口结束时，结束报文统计，并进入2)；2)分析当前时间窗口所得的报文统计表，从中提取出网络行为可疑的内部IP，视为潜在的P2P僵尸节点；随后将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；3)建立并维护一个流量采样表，根据当前时间窗口所得的可疑的内部IP的信息更新所述流量采样表：若可疑的内部IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑的内部IP未存在于流量采样表中，则新增该可疑的内部IP的表项，并填写相关信息；4)根据目标采样率和流量采样表的信息，计算高速网络各个内部IP对应的即时采样率，然后将所得的即时采样率更新到流量采样表中的对应表项；5)对到达的每一个报文，查询经4)更新后的流量采样表，得到更新后的流量采样表对应的即时采样率，然后以所述即时采样率对当前报文进行采样。所述报文统计表的每一个表项由一个五元组确定：{Pro,IPin,IPex,Portin,Portex}，即，将传输层协议类型Pro、内部IP地址IPin、外部IP地址IPex、内部端口号Portin和外部端口号Portex相同的报文统计到同一个表项。所述报文统计表还包含以下三项关键属性：报文数量Pkt、报文大小之和Byte、SYN标志位为1的TCP报文数量SYN。所述报文统计表统计由内部IP地址IPin发出的TCP和UDP报文。时间窗口大小为5分钟。提取网络行为可疑的内部IP的过程包括：1)删除报文统计表中SYN>1的表项；然后，逐个分析报文统计表中的每一个内部IP地址IPin，将所有与IPin相关的表项聚类到不同的集合，每个集合中的表项拥有相等的Pkt值和Byte值；2)分别计算各集合中各外部IP地址IPex重复出现的次数之和，得到各集合的外部IP回访数RCN，取所有RCN中的最大值，得到IPin的外部IP回访率RCR；3)利用BGP(边界网关协议)前缀公告，计算拥有最大RCN的集合中所有IPex的不同BGP前缀数，得到该集合中所有IPex的BGP数，即B值；4)所有RCR值大于阈值M且B值大于阈值N的IPin为可疑的内部IP。本专利技术中，为了能得到较高的识别准确率和较低的误报率，设置M＝10；N＝100。所述流量采样表的每一个表项包含一个可疑的内部IP，即IPsus的相关信息；所述相关信息包括：该IPsus的外部IP回访率RCR、BGP前缀数(B)、上一时间窗口内统计到的报文总数CNTpre、当前时间窗口内统计到的报文总数CNTcur和对应的即时采样率SRins。更新到流量采样表包括删除已连续两个时间窗口未获更新的IPsus表项。将即时采样率更新到流量采样表中的对应表项的过程包括：记目标采样率为SRtar，若无可疑的内部IP，则令所有内部IP的即时采样率为SRtar，即：SRins＝SRtar，即时采样率计算过程结束；否则，将内部IP分为两组：可疑IP组{IPsus}和非可疑IP组{IPnon_sus}，首先，计算各组的总体采样率SRsus和SRnon_sus；根据CNTpre和CNTcur，分别计算上一时间窗口和当前时间窗口内统计到的所有可疑的内部IP的报文总数占总报文数之比：fpre和fcur，记f＝0.2×fpre+0.8×fcur，则可疑IP组的总体采样率SRsus为：SRsus＝SRtar/f；若SRsus>＝1，令SRsus＝1，且令所有可疑组内的IP的即时采样率SRins_sus＝1；而SRnon_sus为：且令所有非可疑组内的IP的即时采样率SRins_non_sus＝SRnon_sus，即时采样率计算过程结束；否则，令非可疑IP组的总体采样率SRnon_sus＝0，且令所有非可疑组内的IP的即时采样率SRins_non_sus＝0；然后将SRsus分配到各可疑IP：IPsus_i，计算各可疑IP的即时采样率SRins_i；根据CNTpre和CNTcur，分别计算上一时间窗口和当前时间窗口内统计到的IPsus_i的报文数占可疑IP报文总数之比：fpre_i和fcur_i，记fi＝0.2×fpre_i+0.8×fcur_i，Vi＝0.2×Bi+0.8×RCRi，其中n为流量采样表中可疑IP总数；将流量采样表中各IPsus_i表项按关键值K从大到小重新排序：再从流量采样表第一个表项到最后一个表项，依次计算各可疑IP对应的即时采样率SRins_i：若SRins_i>1，则令SRins_i＝1，且记流量采样表的剩余表项数为m，令所有剩余表项的Vj＝Vj+Ki/m，Vj＝0.2×Bj+0.8×RCRj，Bj、RCRj分别为IPsus_j的外部IP回访率、BGP本文档来自技高网...

【技术保护点】
一种基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，该方法包括以下步骤：1)在高速网络的出口处，以时间窗口T为单位，对网络流量进行分片处理；建立并维护一个报文统计表，采集并统计单个时间窗口内出现的报文的关键属性，当时间窗口结束时，结束报文统计，并进入2)；2)分析当前时间窗口所得的报文统计表，从中提取出网络行为可疑的内部IP，视为潜在的P2P僵尸节点；随后将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；3)建立并维护一个流量采样表，根据当前时间窗口所得的可疑的内部IP的信息更新所述流量采样表：若可疑的内部IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑的内部IP未存在于流量采样表中，则新增该可疑的内部IP的表项，并填写相关信息；4)根据目标采样率和流量采样表的信息，计算高速网络各个内部IP对应的即时采样率，然后将所得的即时采样率更新到流量采样表中的对应表项；5)对到达的每一个报文，查询经4)更新后的流量采样表，得到更新后的流量采样表对应的即时采样率，然后以所述即时采样率对当前报文进行采样。

【技术特征摘要】
1.一种基于P2P僵尸节点感知的自适应网络流量采样方法，其特征在于，该方法包括以下步骤：1)在高速网络的出口处，以时间窗口T为单位，对网络流量进行分片处理；建立并维护一个报文统计表，采集并统计单个时间窗口内出现的报文的关键属性，当时间窗口结束时，结束报文统计，并进入2)；2)分析当前时间窗口所得的报文统计表，从中提取出网络行为可疑的内部IP，视为潜在的P2P僵尸节点；随后将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；3)建立并维护一个流量采样表，根据当前时间窗口所得的可疑的内部IP的信息更新所述流量采样表：若可疑的内部IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑的内部IP未存在于流量采样表中，则新增该可疑的内部IP的表项，并填写相关信息；4)根据目标采样率和流量采样表的信息，计算高速网络各个内部IP对应的即时采样率，然后将所得的即时采样率更新到流量采样表中的对应表项；具体实现过程为：记目标采样率为SRtar，若无可疑的内部IP，则令所有内部IP的即时采样率为SRtar，即：SRins＝SRtar，即时采样率计算过程结束；否则，将内部IP分为两组：可疑IP组{IPsus}和非可疑IP组{IPnon_sus}，首先，计算各组的总体采样率SRsus和SRnon_sus；根据上一时间窗口内统计到的报文总数CNTpre和当前时间窗口内统计到的报文总数CNTcur，分别计算上一时间窗口和当前时间窗口内统计到的所有可疑的内部IP的报文总数占总报文数之比：fpre和fcur，记f＝0.2×fpre+0.8×fcur，则可疑IP组的总体采样率SRsus为：SRsus＝SRtar/f；若SRsus>＝1，令SRsus＝1，且令所有可疑IP组内的IP的即时采样率SRins_sus＝1；而SRnon_sus为：且令所有非可疑IP组内的IP的即时采样率SRins_non_sus＝SRnon_sus，即时采样率计算过程结束；否则，令非可疑IP组的总体采样率SRnon_sus＝0，且令所有非可疑IP组内的IP的即时采样率SRins_non_sus＝0；然后将SRsus分配到各可疑IP：IPsus_i，计算各可疑IP的即时采样率SRins_i；根据CNTpre和CNTcur，分别计算上一时间窗口和当前时间窗口内统计到的IPsus_i的报文数占可疑IP报文总数之比：fpre_i和fcur_i，记fi＝0.2×fpre_i+0.8×fcur_i，Vi＝0.2×Bi+0.8×RCRi，其中n为流量采样表中的可疑IP总数，Bi、RCRi分别为IPsus_i的BGP前缀数、外部IP回访率；将流量采样表中各IPsus_i表项按关键值K从大到小重新排序：再从流量采样表第一个表项到最后一个表项，依次计算各可疑IP对应的即时采样率SRins_i：若SRins_i>1，则令SRins_i＝1，且记流量采样表的剩余表项数为m，令所有剩余表项的Vj+1＝Vj+Ki/m，Vj＝0.2×Bj+0.8×RCRj，Bj、RCRj分别为IPsus_j的BGP前缀数、外部IP回访率，IPsus_j为剩余表...

【专利技术属性】
技术研发人员：杨岳湘，何杰，曾迎之，唐川，王晓磊，施江勇，李城烨，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43