一种网络流量的统计方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种网络流量的统计方法、装置、电子设备及存储介质，该方法包括：根据Flow流的数据量，采用第一设定数量的上行线程对该Flow流进行第一处理，并将处理后Flow流写入到缓存队列；采用第二设定数量的下行线程，对缓存队列中被写入的Flow流进行第二处理，每一个上行线程与每一个下行线程的处理能力相同；如果缓存队列被写满，增加第一数量的下行线程；如果缓存队列为空，删除第二数量下行线程。在本发明专利技术中，采用线程组对Flow流进行同步处理，并通过判断缓存队列是否被写满或者为空，增加或者减少下行线程的数量，对线程组的处理能力进行动态调控，克服了现有技术中各处理步骤之间处理能力固化、缺乏协同配合的问题。

A statistical method, device, electronic equipment and storage medium of network traffic

【技术实现步骤摘要】
一种网络流量的统计方法、装置、电子设备及存储介质
本专利技术涉及网络
，尤其涉及一种网络流量的统计方法、装置、电子设备及存储介质。
技术介绍
交换机的NetFlow技术是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。因此，交换机的NetFlow技术可以实现对高速转发的IP数据流进行采集。源IP目的IP源端口网络名协议类型大小默认10.12.112.6710.10.242.2464421Others1768442001211.241.112.6410.10.242.2464751As10171459000110.10.242.1610.10.242.2464741Others1745011表1NetFlow的技术框架为：交换机对内部的流量按照配置频率采集一个个Flow流，其中，一个Flow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，将此Flow流通过用户数据协议U本文档来自技高网...

【技术保护点】
1.一种网络流量的统计方法，其特征在于，所述方法包括:根据Flow流的数据量，采用第一设定数量的上行线程对所述Flow流进行第一处理，并将处理后的Flow流写入到缓存队列；采用第二设定数量的下行线程，对所述缓存队列中被写入的Flow流进行第二处理，其中，每一个所述上行线程与每一个所述下行线程的处理能力相同；如果所述缓存队列被写满，增加第一数量的所述下行线程；如果所述缓存队列为空，删除第二数量的所述下行线程。

【技术特征摘要】
1.一种网络流量的统计方法，其特征在于，所述方法包括:根据Flow流的数据量，采用第一设定数量的上行线程对所述Flow流进行第一处理，并将处理后的Flow流写入到缓存队列；采用第二设定数量的下行线程，对所述缓存队列中被写入的Flow流进行第二处理，其中，每一个所述上行线程与每一个所述下行线程的处理能力相同；如果所述缓存队列被写满，增加第一数量的所述下行线程；如果所述缓存队列为空，删除第二数量的所述下行线程。2.如权利要求1所述的方法，其特征在于，所述上行线程为接收线程，所述下行线程为解析线程；和/或所述上行线程为解析线程，所述下行线程为归并线程。3.如权利要求1所述的方法，其特征在于，所述增加第一数量的所述下行线程之后，所述方法还包括：将所述缓存队列的缓存队列长度增加第一预设单位长度；所述删除第二数量的所述下行线程之后，所述方法还包括：将所述缓存队列的缓存队列长度减小第二预设单位长度。4.如权利要求1所述的方法，其特征在于，所述删除第二数量的所述下行线程包括：根据每个下行线程的启动时间，确定启动时间较晚的第二数量的目标下行线程，删除所述目标下行线程。5.如权利要求2所述的方法，其特征在于，当所述上行线程为解析线程，所述下行线程为归并线程时，所述方法还包括：获取所述解析线程对Flow流进行解析之后生成的所述Flow流的第一会话级视图；根据哈希函数Hash(key)＝(key*7)mod(len)，对所述第一会话级视图中的源IP地址进行归并计算，生成关于所述源IP地址的第一哈希表，其中key是哈希函数的自变量，len为第一预设表长，7为预设质数；根据预设统计周期以及所述第一哈希表，计算出所述第一哈希表中每一个所述源IP地址在每一个所述预设统计周期内的流速，并对所述第一哈希表中每一个所述源IP地址在每一个所述预设统计周期内的流量数据进行更新。6.如权利要求5所述的方法，其特征在于，所述方法还包括：根据所述哈希函数Hash(key)＝(key*7)mod(len)，对所述第一会话级视图中的源IP地址、目的IP地址、源端口、目的端口以及协议类型进行归并计算，生成关于所述第一会话级视图的第二哈希表，其中key是哈希函数的自变量，len为第二预设表长，7为预设质数；根据预设统计周期以及所述第二哈希表，对所述第二哈希表中每一个所述第一会话级视图在每一个所述预设统计周期内的流量数据进行更新。7.一种电子设备，其特征在于，所述电子设备包括：第一处理器和第一存储器；所述第一处理器，用于读取所述第一存储器中的程序，执行下列过程：根据Flow流的数据量，采用第一设定数量的上行线程对所述Flow流进行第一处理，并将处理后的Flow流写入到缓存队列；采用第二设定数量的下行线程，对所述缓存队列中被写入的Flow流进行第二处理，其中，每一个所述上行线程与每一个所述下行线程的处理能力相同；如果所述缓存队列被写满，增加第一数量的所述下行线程；如果所述缓存队列为空，删除第二数量的所述下行线程。8.如权利要求7所述的电子设备，其特征在于，所述...

【专利技术属性】
技术研发人员：何丹，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏,32