一种流量采集方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种流量采集方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取训练网络的网络指标和资源约束，并确定训练网络对应的最优网络性能和最优网络性能对应的采样率；利用网络指标、资源约束、最优网络性能和采样率进行有监督学习的模型训练；将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定目标网络对应的目标采样率；基于目标采样率对目标网络进行流量采集。本申请提供的流量采集方法，在系统资源受限的情况下，通过网络指标、资源约束和网络性能约束对流采集器自适应调整采样率，可以最大化利用系统现有资源，提高估计流量规模的准确度。估计流量规模的准确度。估计流量规模的准确度。

【技术实现步骤摘要】
一种流量采集方法、装置及电子设备和存储介质


[0001]本申请涉及计算机
，更具体地说，涉及一种流量采集方法、装置及一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]采用Netflow、IPFIX(IP数据流信息输出，IP Flow Information Export)、sFlow等流量采集技术时，一般对流采集器设置静态的采样率，以进行非全量采集模式的流量采集。一般而言，流采集器设置的采样率越高，能够获取到的信息量就越大，因此估计流量规模的准确度就越高，但消耗的资源和对原有网络性能的性能越大。采样率越低，估计的准确度越低，但消耗的资源/对原有网络性能的性能越小。在系统资源受限的情况下，流采集器的采样率设置受到限制，一般会趋于保守，并不能最大化利用系统现有资源实现最大化估计的准确度。
[0003]因此，如何以自适应系统资源的采样率进行流量采集是本领域技术人员需要解决的技术问题。
[0004]申请内容
[0005]本申请的目的在于提供一种流量采集方法、装置及一种电子设备和一种计算机可读存储介质，实现了以自适应系统资源的采样率进行流量采集。
[0006]为实现上述目的，本申请提供了一种流量采集方法，包括：
[0007]获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
[0008]利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
[0009]将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
[0010]基于所述目标采样率对所述目标网络进行流量采集。
[0011]其中，所述确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率，包括：
[0012]确定候选采样率，并确定所述训练网络在每个所述候选采样率下的网络性能；
[0013]确定最优网络性能和所述最优网络性能对应的采样率。
[0014]其中，所述网络性能包括网卡传输性能和数据转发面网络性能，所述网卡传输性能包括网卡每秒最大传输的数据包大小和/或网卡最大传输速率，所述数据转发面网络性能包括数据转发面网络零丢包情况下的数据传输速率、数据转发面网络每秒最大新建数量和数据转发面网络每秒最大并发数量中任一项或任几项的组合。
[0015]其中，所述网络指标包括主机网络的数据传输指标、数据包传输指标、错误数据包传输指标和各状态下TCP连接数中任一项或任几项的组合；
[0016]所述数据传输指标包括数据流量发送速率、接收速率、已发送的数据流量大小和
已接收的数据流量大小中任一项或任几项的组合；
[0017]所述数据包传输指标包括数据包发送速率、接收速率、已发送的数据包大小和已接收的数据包大小中任一项或任几项的组合；
[0018]所述错误数据包传输指标包括发送错误数据包速率、接收错误数据包速率、已发送错误数据包数量和已接收错误数据包数量中任一项或任几项的组合。
[0019]其中，若所述训练网络包括虚拟网络，则所述网络指标还包括所述虚拟网络与所述主机网络之间的数据流量发送速率、数据流量接收速率、数据包发送速率和数据包接收速率中任一项或任几项的组合。
[0020]其中，所述数据流量包括数据总量、单播数据、多播数据、广播数据、组播数据、TCP数据、UDP数据和ICMP数据中任一项或任几项的组合；
[0021]所述数据包包括数据包总量、单播数据包、多播数据包、广播数据包、组播数据包、TCP包数据、UDP包数据和ICMP包数据中任一项或任几项的组合。
[0022]其中，所述资源约束包括CPU核数、CPU运行频率、内存容量、存储容量、网卡带宽容量中任一项或任几项的组合。
[0023]为实现上述目的，本申请提供了一种流量采集装置，包括：
[0024]获取模块，用于获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
[0025]训练模块，用于利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
[0026]输入模块，用于将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
[0027]采集模块，用于基于所述目标采样率对所述目标网络进行流量采集。
[0028]为实现上述目的，本申请提供了一种电子设备，包括：
[0029]存储器，用于存储计算机程序；
[0030]处理器，用于执行所述计算机程序时实现如上述流量采集方法的步骤。
[0031]为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述流量采集方法的步骤。
[0032]通过以上方案可知，本申请提供的一种流量采集方法，包括：获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；基于所述目标采样率对所述目标网络进行流量采集。
[0033]在本申请中，利用已标注最优采样率的训练网络对模型进行有监督学习的训练，训练完成的模型用于基于目标网络的目标网络指标、目标资源约束和目标网络性能约束预测目标网络对应的目标采样率，基于目标采样率对目标网络进行流量采集，可以最大程度的利用目标网络的资源，实现最优网络性能，提高估计流量规模的准确度。由此可见，本申请提供的流量采集方法，在系统资源受限的情况下，通过网络指标、资源约束和网络性能约
束对流采集器自适应调整采样率，可以最大化利用系统现有资源，提高估计流量规模的准确度。本申请还公开了一种流量采集装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
[0034]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0036]图1为根据一示例性实施例示出的一种流量采集方法的流程图；
[0037]图2为根据一示例性实施例示出的一种流量采集装置的结构图；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量采集方法，其特征在于，包括：获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；基于所述目标采样率对所述目标网络进行流量采集。2.根据权利要求1所述流量采集方法，其特征在于，所述确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率，包括：确定候选采样率，并确定所述训练网络在每个所述候选采样率下的网络性能；确定最优网络性能和所述最优网络性能对应的采样率。3.根据权利要求2所述流量采集方法，其特征在于，所述网络性能包括网卡传输性能和数据转发面网络性能，所述网卡传输性能包括网卡每秒最大传输的数据包大小和/或网卡最大传输速率，所述数据转发面网络性能包括数据转发面网络零丢包情况下的数据传输速率、数据转发面网络每秒最大新建数量和数据转发面网络每秒最大并发数量中任一项或任几项的组合。4.根据权利要求1所述流量采集方法，其特征在于，所述网络指标包括主机网络的数据传输指标、数据包传输指标、错误数据包传输指标和各状态下TCP连接数中任一项或任几项的组合；所述数据传输指标包括数据流量发送速率、接收速率、已发送的数据流量大小和已接收的数据流量大小中任一项或任几项的组合；所述数据包传输指标包括数据包发送速率、接收速率、已发送的数据包大小和已接收的数据包大小中任一项或任几项的组合；所述错误数据包传输指标包括发送错误数据包速率、接收错误数据包速率、已发送错误数据包数量和已接收错误数据包数量中任一项或任几项的...

【专利技术属性】
技术研发人员：朱林杰，杨兰平，李德方，陈晓帆，谢忠杰，马耀泉，王华，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：