基于压缩感知的高速网络流量采样方法及装置制造方法及图纸

本发明专利技术公开了一种基于压缩感知的高速网络流量采样方法，包括步骤：对路由器上的流量进行缓存；基于压缩感知方法对缓存的流量进行采集；将采集后的流量发送到远程的数据分析服务器。基于压缩感知的高速网络流量采样装置，包括：流量缓存单元，用于对路由器上的流量进行流量缓存；流量采集单元，用于基于压缩感知方法对缓存的流量进行采集；流量发送单元，用于将采集后的流量发送到远程的数据分析服务器。本发明专利技术还给出针对特定协议传输的流量数据进行压缩采样的方案。本发明专利技术提出基于压缩感知的高速网络流量采样方法可有效减少流量处理的存储空间和传输带宽，从而大大提高了采样的速度。

High Speed Network Traffic Sampling Method and Device Based on Compressed Sensing

【技术实现步骤摘要】
基于压缩感知的高速网络流量采样方法及装置
本专利技术涉及网络通信技术和网络通信设施研究领域，特别涉及一种基于压缩感知(Compressedsensing)的高速网络流量采样方法及装置。
技术介绍
随着互联网的普及、上网人数和设备的快速增长，网络数据和流量呈现井喷式增长，而这些流量数据中除了用户和设备正常活动所产生的流量之外，还掺杂着众多的网络攻击、恶意流量、暗网访问流量等可能威胁到人民财产安全和网络空间安全的恶意行为数据，所以需要对这样一些流量数据进行高速准确采集以用于进一步的分析，实现及时遏制危害人民财产安全与网络空间安全的违法犯罪行为。传统实现网络流量采集的方法主要有Sniffer(嗅探法)、SNMP(SimpleNetworkManageProtocol简单网络管理协议)、Netflow(网络监听包的包分析模式)、sFlow等一些方法。嗅探法是一种常用的网络技术，其通过在交换机的镜像端口设置数据采集点来捕获数据报文，这种方式采集的信息很全面，可以完全复制网络中的数据报文；SNMP是一种主动的采集方式，采集程序需要定时取出路由器内存中的IPAccounting记录，同时清空相应的内存记录，才能继续采集后续的数据；Netflow是Cisco公司的专有技术，早期的Netflow版本需要统计所有的网络数据报文，因此对网络设备性能影响较大，v8以后的版本提供了采样功能；sflow采用采样的方式，通过设置一定的采样率，进行数据捕获，对网络设备的性能影响很小。上述技术虽然能够实现在不同场景下进行流量采集的任务，但是分别存在信息采集不够丰富准确、采集范围不广、对网络设备性能造成影响或是采集速率过慢等问题，比如Netflow就没有包括MAC地址信息，Sniffer一般只针对1000M以下的速率且侧重于单条链路的流量分析。为此，研究一种针对高速、大流量数据，可实现准确采集的方法和装置，具有重要的研究意义。
技术实现思路
针对现有技术中骨干网上路由器高速、大流量的情况，本专利技术克服现有方法的缺陷，提供一种基于压缩感知的高速网络流量采样方法及装置，可在路由器上实现对网络攻击、恶意流量、暗网等流量数据的全面高速准确地采集，实现对危害网络空间安全行为的有效监控。本专利技术的目的通过以下的技术方案实现：基于压缩感知的高速网络流量采样方法，包括步骤：对路由器上的流量进行流量缓存；基于压缩感知方法对缓存的流量进行采集；将采集后的流量发送到远程的数据分析服务器。本专利技术基于压缩感知方法直接采集有效的测量值，更利于流量信号的存储和传输，从而大大提高了采样的速度。优选的，所述基于压缩感知方法对缓存的流量进行采集时，当信号是稀疏或可压缩的时候，以线性投影的方式得到信号的压缩后表示(condensedrepresentation)，如下式表示：y＝Φx其中，y是压缩后的信号表示,Φ表示采集时的测量矩阵，需满足一定的不相关性，可以是一个随机矩阵，x代表原始的数字信号且满足稀疏性，整个采集过程就是一个线性投影过程。优选的，所述基于压缩感知方法对缓存的流量进行采集时，对于一个网络流量包序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0；|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小，通过这样的方式就可以用一个特征向量表示网络流量指纹，记fNх1为包序列p上的N维特征向量，根据压缩感知技术，压缩的特征向量可以由以下公式求解：其中即为压缩后的观测向量，Φ为测量矩阵，压缩采样过程是利用测量矩阵Φ的M个行向量对稀疏向量f进行投影。优选的，在对流量进行缓存前，先对流量进行识别，判断其是否属于设定的协议传输的流量数据，如果是，则对其进行流量缓存，否则，不对其进行处理。从而可仅针对特定协议传输的流量数据进行采样，提高采样的速度，提高识别的有效性。更进一步的，所述设定的协议包括网络攻击常利用的TCP/IP之上的加密混淆协议，如暗网通讯软件Telegram所使用的MTProto协议、Tor等匿名通信协议等。基于压缩感知的高速网络流量采样装置，包括：流量缓存单元，用于对路由器上的流量进行流量缓存；流量采集单元，用于基于压缩感知方法对缓存的流量进行采集；流量发送单元，用于将采集后的流量发送到远程的数据分析服务器。优选的，所述流量采集单元中基于压缩感知方法对缓存的流量进行采集时，当信号是稀疏或可压缩的时候，以线性投影的方式得到信号的压缩后表示，如下式表示：y＝Φx其中，y是压缩后的信号表示,Φ表示采集时的测量矩阵，x代表原始的数字信号且满足稀疏性。优选的，所述流量采集单元中基于压缩感知方法对缓存的流量进行采集时，对于一个网络流量包序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0；|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小，通过这样的方式就可以用一个特征向量表示网络流量指纹，记fNх1为包序列p上的N维特征向量，根据压缩感知技术，压缩的特征向量可以由以下公式求解：其中即为压缩后的观测向量，Φ为测量矩阵，压缩采样过程是利用测量矩阵Φ的M个行向量对稀疏向量f进行投影。优选的，所述基于压缩感知的高速网络流量采样装置还包括流量识别单元，流量识别单元用于对路由器输入的流量进行识别，判断其是否属于设定的协议传输的流量数据，如果是，则将流量输入到流量缓存单元，否则，不对其进行处理。更进一步的，所述流量识别单元中设定的协议包括网络攻击常利用的TCP/IP协议之上的加密混淆协议、如僵尸网络的通信协议、特种通讯软件Telegram所使用的MTProto协议等。优选的，所述基于压缩感知的高速网络流量采样装置加载在路由器上。本专利技术与现有技术相比，具有如下优点和有益效果：本专利技术相对于现有技术，能够实现对路由器上流量数据的高速、稳定、全面的采集，且不会影响路由器正常使用的功能和性能，同时在对流量进行缓存和采集之前，先对流量进行识别，实现只对特定协议的流量采集，减少了数据的冗余度同时提升采集速度。附图说明图1是实施例1所述方法的流程图。图2是实施例1所述方法的工作原理示意图。图3是实施例2所述装置的结构示意图。图4是实施例2所述装置与路由器结合使用的框图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例1本实施例提供一种高速网络流量采样方法，该方法主要是对路由器上的流量采用基于压缩感知方法进行有效采集，下面结合附图1、2对方法步骤进行具体说明。S1：流量识别。出于提高后续采样速度的考虑，本实施例所述方法不会对路由器上所有流量都进行采集，主要采集通过特定协议传输的网络攻击、恶意流量、暗网访问等流量数据，比如网络攻击常利用的TCP/IP协议、暗网通讯软件Telegram所使用的MTProto协议等，所以在进行网络流量采样前，先设定重点针对的特定协议，仅对特定协议的流量进行识别，在采集过程中，判断流量是否属于设定的协议传输的流量数据，如果是，则对其进行流量缓存，用于进行后续的采集，否则，不对其进行处理。S2：流量缓存。将步骤S1获取的特定流量数据缓存到存储器中，缓本文档来自技高网...

【技术保护点】
1.基于压缩感知的高速网络流量采样方法，其特征在于，包括步骤：对路由器上的流量进行流量缓存；基于压缩感知方法对缓存的流量进行采集；将采集后的流量发送到远程的数据分析服务器。

【技术特征摘要】
1.基于压缩感知的高速网络流量采样方法，其特征在于，包括步骤：对路由器上的流量进行流量缓存；基于压缩感知方法对缓存的流量进行采集；将采集后的流量发送到远程的数据分析服务器。2.根据权利要求1所述的基于压缩感知的高速网络流量采样方法，其特征在于，所述基于压缩感知方法对缓存的流量进行采集时，当信号是稀疏或可压缩的时候，以线性投影的方式得到信号的压缩后表示，如下式表示：y＝Φx其中，y是压缩后的信号表示,Φ表示采集时的测量矩阵，需满足一定的不相关性，x代表原始的数字信号且满足稀疏性。3.根据权利要求1所述的基于压缩感知的高速网络流量采样方法，其特征在于，所述基于压缩感知方法对缓存的流量进行采集时，对于一个网络流量包序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0；|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小，通过这样的方式用一个特征向量表示网络流量指纹，记fNх1为包序列p上的N维特征向量，根据压缩感知技术，压缩的特征向量由以下公式求解：其中即为压缩后的观测向量，Φ为测量矩阵，压缩采样过程是利用测量矩阵Φ的M个行向量对稀疏向量f进行投影。4.根据权利要求1所述的基于压缩感知的高速网络流量采样方法，其特征在于，在对流量进行缓存前，先对流量进行识别，判断其是否属于设定的协议传输的流量数据，如果是，则对其进行流量缓存，否则，不对其进行处理。5.根据权利要求4所述的基于压缩感知的高速网络流量采样方法，其特征在于，所述设定的协议包括加密混淆协议。6.基于压缩感知的高速网络流量采样装置，其特征在于，包括：流量...

【专利技术属性】
技术研发人员：谭庆丰，崔翔，陈小龙，谭润楠，张宇，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东,44