一种基于IPFIX的大象流处理方法及装置制造方法及图纸

本发明专利技术揭示了一种基于IPFIX的大象流处理方法及装置。方法包括接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，IPFIX流表对每个大象流进行字节数统计；周期性扫描IPFIX流表并判断IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流并将该大象流上送CPU处理。本发明专利技术能够精确去除大象流中被误检测为大象流的老鼠流，提高数据中心网络优化的准确性，节省CPU资源。

【技术实现步骤摘要】
一种基于IPFIX的大象流处理方法及装置
本专利技术涉及网络
，尤其是涉及一种基于IPFIX的大象流处理方法及装置。
技术介绍
在数据中心网络中，流量包括大象流和老鼠流，老鼠流种类繁多，占比相对较大，而大象流种类较少，占比相对较少，其中，大象流通常是指占据数据中心网络大部分带宽的数据流，老鼠流通常是指占据数据中心网络小部分带宽的数据流。由于老鼠流延迟敏感，消耗数据中心少量带宽，而大象流消耗数据中心超过80％的带宽，因而有效检测出大象流，并针对大象流执行相应策略和控制(如转发路径、QoS等策略)，一方面能够提高数据中心网络的带宽利用率，另一方面还能够提高老鼠流的转发效率，增强会话有效传输的吞吐量。目前，在检测大象流时通常采用基于软件和基于硬件的检测方案，软件如服务器端管理组件等，硬件如TOR(TopofRack，架顶)交换机等。由于通过软件进行大象流检测容易导致CPU负荷的增加，因而在TOR交换机芯片上做纯硬件的大象流检测越来越受欢迎。目前最受欢迎的是利用BloomFilter(布隆过滤器)算法去检测大象流，BloomFilter算法模型是多个并行的报文包长计数的Hash桶，以4个hash桶为例，当收到报文时，利用四个互质的Hash多项式计算出四个Hash值，每个Hash值分别索引到4个Hash桶，读取存放的计数器Counter，根据当前报文长度，累加更新到4个计数器Counter中，同时比较四个计数器Counter值和配置的门限值，并在计数器Counter值大于门限值时，认为当前的报文已被检测成大象流，此时将报文信息记录到大象流的流表中进一步控制，同时设置一个计时器，周期性的将四个Hash桶中所有的计数器Counter全部清零。然而，由于BloomFilter算法模型中计数器Counter是共享的，仅仅通过四个Hash多项式来对流进行打散，容易使得在流量较多时存在一定的冲突率，导致出现误检测，并且流量种类越多，误检测率越高，容易将老鼠流误检测为大象流。为了去除大象流中的老鼠流，通常采用软件方法去除，容易导致CPU负荷较高，影响其他业务的进行。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供一种可精确去除大象流中老鼠流的大象流处理方法及装置。为实现上述目的，本专利技术提出如下技术方案：一种基于IPFIX的大象流处理方法，所述方法包括：S100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；S200，周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。优选地，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。优选地，在步骤S100之前，还包括通过访问控制列表匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。优选地，在步骤S200中，IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。优选地，周期性扫描IPFIX流表中的一个大象流后，将该大象流对应的字节计数字段清零处理。本专利技术还揭示了一种基于IPFIX的大象流处理装置，装置包括IPFIX模块，用于接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；判断模块，用于周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。优选地，装置还包括ACL模块，用于匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。优选地，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。优选地，所述IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。优选地，装置包括定时器模块，用于使判断模块周期性扫描所述IPFIX流表并判断每个大象流对应的总字节数是否大于预设阈值。本专利技术的有益效果是：本专利技术能够精确去除大象流中被误检测为大象流的老鼠流，一方面提高数据中心网络优化的准确性，提高大象流检测的准确性，提高时延敏感的老鼠流的转发性能，另一方面避免CPU直接参与识别大象流中被误检测的老鼠流，节省了CPU资源。附图说明图1是本专利技术的大象流处理方法流程图示意图；图2是本专利技术的大象流处理装置结构框图示意图。具体实施方式下面将结合本专利技术的附图，对本专利技术实施例的技术方案进行清楚、完整的描述。在交换芯片中检测出大象流后，采用本专利技术所揭示的一种基于IPFIX的大象流处理方法及装置，能够精确去除大象流中被误检测为大象流的老鼠流，一方面提高数据中心网络优化的准确性，另一方面避免CPU直接参与识别大象流中被误检测的老鼠流，节省了CPU资源。如图1所示，为本专利技术所揭示的一种基于IPFIX的大象流处理方法，包括如下步骤：S100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计。具体地，交换芯片通过BloomFilter(布隆过滤器)算法对报文进行检测，当检测到大象流后将报文标记为大象流，实施时，可通过字段isElephantFlow来标记报文是否为大象流，如字段isElephantFlow的值为0时，表示该报文不是大象流，为1时，表示该报文为大象流。交换芯片通过BloomFilter算法检测出的大象流中可能存在误检测为大象流的老鼠流，为了将误检测为大象流的老鼠流准确从大象流中去除，本专利技术通过IPFIX(IPFlowInformationExport，IP数据流信息输出)对检测结果是大象流的报文进行处理。IPFIX是用于网络中流信息测量的标准协议，让网络设备在转发数据流量的同时生成特定的流量信息，然后将流量信息发送到特定的分析模块，进而可实现对流量的分析。IPFIX可根据报文的五元组信息(入接口、协议号、源地址、目的地址、TOS字段、TCP/UDP源端口、TCP/UDP目的端口)将报文分成的不同的流并对每个流进行统计，IPFIX会记录这个流的统计信息，包括时间戳、报文数、总的字节数。对于五元组信息相同的报文则视为属于同一个流。因此，在获得大象流后，利用IPFIX流表统计机制对检测结果是大象流的报文进行五元组展开，也即获取报文的五元组信息，根据五元组信息将报文划分不同的流，进一步将流学习至IPFIX流表中，IPFIX流表进一步通过字节数统计字段(ByteCount)对每个流进行字节数统计，每个流对应一字节数统计字段。由于流经过BloomFilter检测后，检测出流的种类大大减少，因此IPFI本文档来自技高网...

【技术保护点】
1.一种基于IPFIX的大象流处理方法，其特征在于，所述方法包括：/nS100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；/nS200，周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。/n

【技术特征摘要】
1.一种基于IPFIX的大象流处理方法，其特征在于，所述方法包括：
S100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；
S200，周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。


2.根据权利要求1所述的方法，其特征在于，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。


3.根据权利要求1所述的方法，其特征在于，在步骤S100之前，还包括通过访问控制列表匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。


4.根据权利要求1所述的方法，其特征在于，在步骤S200中，IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。


5.根据权利要求4所述的方法，其特征在于，周期性扫描IPFIX流表中的一个大象流后，将该大象流对应的字节计数字段清零处理。


6.一种基于...

【专利技术属性】
技术研发人员：周伟，方沛昱，崔兴龙，
申请(专利权)人：苏州盛科科技有限公司，
类型：发明
国别省市：江苏;32