一种基于sFlow的网络流量监控方法技术

本发明专利技术公开了一种基于sFlow技术的网络流量监控方法，属于网络安全技术领域。其具体包括下列步骤：在sFlow Agent上采样与编码；数据预处理与特征优化；基于KNAC的流量分类；基于常态指标值进行异常检测。本发明专利技术的实施，在满足低性能损耗的前提下，本发明专利技术以Agent为核心的采样方式采集数据，并通过聚类的数据优化使数据聚合得到精度更高的数据，在SDN网络下进行分类，并根据短周期快速采样，计算源端口号和目的端口号的常态指标值，最终进行网络流量监控的判断。

A Network Traffic Monitoring Method Based on sFlow

【技术实现步骤摘要】
一种基于sFlow的网络流量监控方法
本专利技术涉及网络安全
，具体涉及一种基于sFlow技术对网络流量的监控技术。
技术介绍
随着sFlow技术的出现，由于sFlow技术的成本较低，监测大型网络也不会消耗额外资源，并且不会带来新的网络冲突。sFlow的流量计算方式中，包含大量数据信息，有潜力成为工业标准。sFlow的特点十分适合用于网络流量测量与分析。sFlow的优势在于，它能够在整个网络中，做到连续且实时的监视每一个源端口和目的端口。由于sFlow不需要镜像监视，因此它不会使网络整体性能下滑。sFlow的完整实现一般由两部分构成：sFlowAgent和sFlowReceiver。数据报文会嵌入至sFlowAgent中，在进行采样后，会将采样后的编码发送给sFlowReceiver，由其经过数据分析和数据聚合后，即可对网络流量做出分析，监控具体网络流量的具体项。使用sFlow进行网络流量监控时，无需将数据包全数都发送至Receiver，因为在发送数据包之前可以进行数据聚合以排除诸多重复度较高的数据。sFlow主要从两个层面上统计网络流量：统计数据包中所交换的数据流或是指定总时间内进行固定时间间隔的采样。最重要的是，在采样率不同的情况下，sFlow能对整个交换机或仅对部分端口实施监视，这就能保证设计管理方案时的灵活性，自主选择系统的性能消耗。综上说述，与以前的网络监视技术，如探针、NetFlow相比，sFlow的优势点为：用户可自行配置的采样速率、对设备性能没有影响、对网络带宽的影响很小、具有实时分析能力的一直在线技术。因而有必要提出一种更实用的基于sFlow技术对网络流量的监控方法。
技术实现思路
本专利技术的专利技术目的在于：提供一种更便捷基于sFlow技术的网络流量监控方法。本专利技术的基于sFlow技术的网络流量监控方法，具体包括下列步骤：步骤S1：基于预先设置的满足网络需求的采样率，对sFlow数据包进行采样，并将采样的原始数据分成采样数据和接口统计数据；其中采样数据为直接从网络中取得的数据包；接口统计数据为交换机或路由器接口根据对应数据包进行解析取得；步骤S2：设置采样数据的特征信息，并将每个特征分布的均方差与平均值的比值作为每个特征的权重，对每条采样数据的多维特征进行数据聚合处理；步骤S3：在SDN控制器上设置KNAC分类处理模块，用于对SDN网络下的流量分类；当通过sFlow交换机未能为当前数据包找到匹配项时，再将当前数据包交由SDN控制器的KNAC分类处理模块聚类处理，再通过sFlow交换机进行转发；由于sFlow是可以不断找到匹配项的，所有的数据都可以被当为匹配项，因为都是采样得到的，但是会有大量相对重复的数据以及少量明显异常的数据，本专利技术通过数据聚合筛选出优质数据，优质数据(或称代表数据)有益于于提升后续处理的精度。步骤S4：基于网络正常状态下的指标值衡量网络的正常状态，并对非正常状态进行监控和告警。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：提供了一种基于sFlow进行流量监控的方案。即在满足低性能损耗的前提下，本专利技术以Agent为核心的采样方式采集数据，并通过聚类的数据优化使数据聚合得到精度更高的数据，在SDN网络下进行分类，并根据短周期快速采样，计算源端口号和目的端口号的常态指标值，最终进行网络流量监控的判断。附图说明图1是本专利技术中用sFlow技术进行网络流量监测的流程图；图2sFlow接收进程及数据存入数据库的过程。图3是监控进程获取相关流量。图4是对IP进行流量监控的引入。图5是对IP进行流量监控的最终结果。图6是分析流量时所需要用到的指标。图7是基于协议的网络吞吐量统计。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。参见图1，本专利技术的基于sFlow技术的网络流量监控，包括下列步骤：步骤S1：在sFlowAgent上采样与编码；步骤S2：数据预处理与特征优化；步骤S3：基于KNAC的流量分类；步骤S4：基于常态指标值进行异常检测。各步骤具体为：步骤S1：在sFlowAgent上采样与编码；。当sFlow的路由器和交换机得到流量信息并将其输出为sFlow报文的形式后，可以看到sFlow报文中主要包含的流量信息为Package大小、总流量、每秒流量、源端口号、目的端口号、总时长等等能全面反应流量的信息。由于sFlow支持多种协议并且协议之间也有对应报文，因而只要将流量数据在相关的路由器或者交换机中进行转发，就能存储这些流量信息，并且根据需要灵活地选择对应路由器或交换机进行解析。数据采样与编码。在集成ASIC(ApplicationSpecificIntegratedCircuit)芯片后，就可以对sFlow数据包进行采样，并将采样的原始数据分成采样数据和接口统计数据两种，前者是直接从网络中取得的数据包，后者是交换机或者是路由器接口根据对应数据包进行的解析。数据采集中，往往会关注单次采样的时间间隔、接口的总流量、成功接收到的包数以及未能成功接收到的包数等等指标。最终，将这些数据进行聚合后，再一起发送到sFlow的Agent。一台交换机或路由器必须有一个总的Agent并作为根节点，在根节点下可以延伸出很多Agent的子节点。Agent有三个子模块，分别为；Sampler、Poller、Receiver。其中，Sample负责采集包的完整样本；Poller负责采集非完整样本，Receiver则会收集包的IP地址与对应端口号。预先设置符合网络需求的采样率后，即可进行抓包，这种机制上决定了由sFlow采样可以节约网络设备的内存或是提高网络设备的流畅性。在采样后，需要得到以下数据：源MAC地址、目的MAC地址、源IP地址、目的IP地址、OSI各层结构中协议类型、端口号、URL。步骤S2：数据预处理与特征优化。在用sFlow分析流量时，即便设置适中的采样率，只要分析系统还在工作，就会生成大量数据，并且这些数据都是有必要统计的，难以在控制字段的层面进行数据压缩，所以，本专利技术将数据进行聚合汇总，优化需要分析的数据条数，是基于sFlow流量监测的必要环节。在本专利技术中，在进行数据采集后，需要从根据时间段(即采集颗粒度不要太细)、IP段、端口号、协议类型、访问频率、流量近似大小等维度进行聚合。需要将高度相同的数据聚合，从而减少大量无意义的数据，节省出磁盘空间，进而提升系统的I/O性能。在特征数据的预处理中，为保证数据的合理，需要控制特征的维数。为了数据清洗，需要对特征数值的分布做出特征优化的办法。需要对不同网络流量的数据在某一特征处取均方差，再对其进行线性回归，最终可以得到某一特征的精度。计Average(N)为第N个特征分布的平均值，StandardDeviation(N)为第N个特征分布的均方差，Weight(N)为第N个特征的权重，则有：将StandardDeviation(N)带入至计算权重的公式中，可以使得数据预处理的误差最小。步骤S3：基于KNAC的流量分类。当前，流量分类的主要方法有：基于标准端口号匹配、基于负载分类、基于流统计特征。在基于标准端口号匹配的方法中，由于端口号的差异较大，特别是P2P中动态分配端口号的本文档来自技高网...

【技术保护点】
1.基于sFlow技术的网络流量监控方法，其特征在于，包括下列步骤：步骤S1：基于预先设置的满足网络需求的采样率，对sFlow数据包进行采样，并将采样的原始数据分成采样数据和接口统计数据；其中采样数据为直接从网络中取得的数据包；接口统计数据为交换机或路由器接口根据对应数据包进行解析取得；步骤S2：设置采样数据的特征信息，并将每个特征分布的均方差与平均值的比值作为每个特征的权重，对每条采样数据的多维特征进行数据聚合处理；步骤S3：在SDN控制器上设置KNAC分类处理模块，用于对SDN网络下的流量分类；当通过sFlow交换机未能为当前数据包找到匹配项时，再将当前数据包交由SDN控制器的KNAC分类处理模块聚类处理，再通过sFlow交换机进行转发；步骤S4：基于网络正常状态下的指标值衡量网络的正常状态，并对非正常状态进行监控和告警。基于常态指标值进行异常检测。

【技术特征摘要】
1.基于sFlow技术的网络流量监控方法，其特征在于，包括下列步骤：步骤S1：基于预先设置的满足网络需求的采样率，对sFlow数据包进行采样，并将采样的原始数据分成采样数据和接口统计数据；其中采样数据为直接从网络中取得的数据包；接口统计数据为交换机或路由器接口根据对应数据包进行解析取得；步骤S2：设置采样数据的特征信息，并将每个特征分布的均方差与平均值的比值作为每个特征的权重，对每条采样数据的多维特征进行数据聚合处理；步骤S3：在SDN控制器上设置KNAC分类处理模块，用于对SDN网络下的流量分类；当通过sFlow交换机未能为当前数据包找到匹配...

【专利技术属性】
技术研发人员：尹晓卿，刘丹，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51