流量大小估算方法和装置制造方法及图纸

本申请公开了一种流量大小估算方法和装置，其中，方法包括：获取多个历史流序列的特征属性，并对多个历史流序列进行预处理；根据多个历史流序列的特征属性和预处理结果，计算多个历史流序列之间的相似度；根据多个历史流序列之间的相似度对多个历史流序列进行聚类，以获得多个历史流序列聚类簇；根据多个历史流序列聚类簇，创建多个流大小估算模型；结合多个历史流序列聚类簇以及新流序列的相似度，分配流大小估算模型，以对新流序列进行流量大小估算，该方法基于历史流的相似性对其进行聚类，并且针对每个聚类簇结合新流序列的相似度，为新流序列分配流大小估算模型用于流量大小估算，提高了流量大小估算的准确性，并且可大规模部署。

【技术实现步骤摘要】
流量大小估算方法和装置
本申请涉及数据处理
，尤其涉及一种流量大小估算方法和装置。
技术介绍
目前，为了满足用户需求，许多大型服务必须快速响应用户的操作，例如，网络搜索，社交网络，零售，推荐系统等，因此，大型服务对应的数据中心网络应最大程度地减少平均流量完成时间以满足用户需求。相关技术中，基于历史流集合学习模型进行流量大小估算以减少平均流量完成时间，即通过监视网络中的统计数据并从历史流序列中学习来估算流量大小，以减少平均流量完成时间。但是，上述技术中，为了使模型有更强的适应能力，需要输入变化很大的历史流进行学习，但是输入差异超过一定的范围可能会使模型难以有效地估算流量的大小，此外，由于不同应用生成的流模式之间存在差异性，基于学习的机制需要为每种应用训练特定的流量大小估算模型，一旦参数更改或者新应用产生，就需要重新进行训练，难以大规模应用到实际中。
技术实现思路
本申请提出一种流量大小估算方法和装置，该方法基于历史流的相似性对其进行聚类，并且针对每个聚类簇结合新流序列的相似度，为新流序列分配流大小估算模型用于流量大小估算，提高了流量大小估算的准确性，在应用程序的输入参数发生很大变化时或者启动新应用程序时，可通过相似度匹配选择流大小估算模型，无需重复训练，可实现大规模部署。本申请第一方面实施例提出了一种流量大小估算方法，包括：获取多个历史流序列的特征属性，并对所述多个历史流数据进行预处理，其中，所述多个历史流序列的特征属性包括：流级别属性和应用级别属性；根据所述多个历史流序列的特征属性和预处理结果，计算所述多个历史流序列之间的相似度；根据所述多个历史流序列之间的相似度对多个所述历史流序列进行聚类，以获得多个历史流序列聚类簇；根据所述多个历史流序列聚类簇，创建多个流大小估算模型；结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。本申请实施例的流量大小估算方法，通过获取多个历史流序列的特征属性，并对所述多个历史流序列进行预处理，其中，所述多个历史流序列的特征属性包括：流级别属性和应用级别属性；根据所述多个历史流序列的特征属性和预处理结果，计算所述多个历史流序列之间的相似度；根据所述多个历史流序列之间的相似度对多个所述历史流序列进行聚类，以获得多个历史流序列聚类簇；根据所述多个历史流序列聚类簇，创建多个流大小估算模型；结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。该方法基于历史流的相似性对其进行聚类，并且针对每个聚类簇结合新流序列的相似度，为新流序列分配流大小估算模型用于流量大小估算，提高了流量大小估算的准确性，在应用程序的输入参数发生很大变化时或者启动新应用程序时，可通过相似度匹配选择流大小估算模型，无需重复训练，可节约相关开销实现大规模部署。本申请第二方面实施例提出了一种流量大小估算装置，包括：预处理模块，用于获取多个历史流序列的特征属性，并对所述多个历史流序列进行预处理，其中，所述多个历史流序列的特征属性包括：流级别属性和应用级别属性；计算模块，用于根据所述多个历史流序列的特征属性和预处理结果，计算所述多个历史流序列之间的相似度；聚类模块，用于根据所述多个历史流序列之间的相似度对多个所述历史流序列进行聚类，以获得多个历史流序列聚类簇；创建模块，用于根据所述多个历史流序列聚类簇，创建多个流大小估算模型；分配模块，用于结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。本申请实施例的流量大小估算装置，通过获取多个历史流序列的特征属性，并对所述多个历史流序列进行预处理，其中，所述多个历史流序列的特征属性包括：流级别属性和应用级别属性；根据所述多个历史流序列的特征属性和预处理结果，计算所述多个历史流序列之间的相似度；根据所述多个历史流序列之间的相似度对多个所述历史流序列进行聚类，以获得多个历史流序列聚类簇；根据所述多个历史流序列聚类簇，创建多个流大小估算模型；结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。该装置可实现基于历史流的相似性对其进行聚类，并且针对每个聚类簇结合新流序列的相似度，为新流序列分配流大小估算模型用于流量大小估算，提高了流量大小估算的准确性，在应用程序的输入参数发生很大变化时或者启动新应用程序时，可通过相似度匹配选择流大小估算模型，无需重复训练，可节约相关开销实现大规模部署。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本申请一个实施例的流量估算方法的流程示意图；图2为根据本申请另一个实施例的流量估算方法的流程示意图；图3为根据本申请一个实施例的估算密度半径算法示意图；图4为根据本申请一个实施例的根据密度半径确定历史流序列聚类簇示意图；图5为根据本申请又一个实施例的流量估算方法的流程示意图；图6为根据本申请一个实施例的KMeans和PageRank负载的流大小分布示意图；图7(a)为根据本申请一个实施例的单应用KMeans负载下的性能示意图；图7(b)为根据本申请一个实施例的单应用PageRank负载下的性能示意图；图8(a)为根据本申请一个实施例的混合应用KMeans负载下的性能示意图；图8(b)为根据本申请一个实施例的混合应用PageRank负载下的性能示意图；图9为根据本申请一个实施例的流量大小估算装置的结构示意图。具体实施方式下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。下面参考附图描述本申请实施例的流量大小估算方法和装置。需要说明的是，本申请实施例的流量估算方法的执行主体为流量估算装置，该流量估算装置可应用于任一计算机设备中，以使该计算机设备可以执行流量大小估算功能。其中，计算机设备可以为个人电脑(PersonalComputer，简称PC)、云端设备、移动设备、服务器等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。图1为根据本申请一个实施例的流量估算方法的流程示意图。如图1所示，该流量估算方法的具体实现过程如下：步骤101，获取多个历史流序列的特征属性，并对多个历史流序列进行预处理，其中，多个历史流序列的特征属性包括：流级别属性和应用级别属性。在本申请实施例中，可通过网关设备获取多个历史流序列，流量估算装置与网关设备连接从而可获取多个历史流序列，其中，历本文档来自技高网...

【技术保护点】
1.一种流量大小估算方法，其特征在于，包括：/n获取多个历史流序列的特征属性，并对所述多个历史流序列进行预处理，其中，所述多个历史流序列的特征属性包括：流级别属性和应用级别属性；/n根据所述多个历史流序列的特征属性和预处理结果，计算所述多个历史流序列之间的相似度；/n根据所述多个历史流序列之间的相似度对所述多个历史流序列进行聚类，以获得多个历史流序列聚类簇；/n根据所述多个历史流序列聚类簇，创建多个流大小估算模型；/n结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。/n

【技术特征摘要】
1.一种流量大小估算方法，其特征在于，包括：
获取多个历史流序列的特征属性，并对所述多个历史流序列进行预处理，其中，所述多个历史流序列的特征属性包括：流级别属性和应用级别属性；
根据所述多个历史流序列的特征属性和预处理结果，计算所述多个历史流序列之间的相似度；
根据所述多个历史流序列之间的相似度对所述多个历史流序列进行聚类，以获得多个历史流序列聚类簇；
根据所述多个历史流序列聚类簇，创建多个流大小估算模型；
结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。


2.如权利要求1所述的方法，其特征在于，结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算之后，还包括：
收集所述新流序列的流量大小估算结果，在所述估算结果与所述新流序列的实际流量大小不符时，重新创建并分配所述流大小估算模型。


3.如权利要求1所述的方法，其特征在于，结合所述多个历史流序列聚类簇以及新流序列的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算，包括：
在所述新流序列生成时，对所述新流序列进行预处理；
根据所述新流序列预处理结果，计算新流序列与历史流序列聚类簇质心之间的相似度；其中，所述历史流序列聚类簇质心为所述历史流序列聚类簇中一个与其他历史流序列平均距离最短的历史流序列；
根据所述新流序列与所述历史流序列聚类簇质心之间的相似度，分配所述流大小估算模型，以对所述新流序列进行流量大小估算。


4.如权利要求1所述的方法，其特征在于，根据所述多个历史流序列之间的相似度对多个所述历史流序列进行聚类，以获得多个历史流序列聚类簇，包括：
根据所述多个历史流序列之间的相似度，对所述多个历史流序列进行划分；
获取所述多个历史流序列划分结果的密度半径，其中，所述密度半径为所述多个历史流序列划分结果中，每个历史流序列与第K个最近邻居的历史流序列的动态规划距离；
将所述密度半径内的大于或等于预设密度阈值的历史流序列，确定为一个历史流序列聚类簇。


5.如权利要求1所述的方法，其特征在于，所述流级别属性包括：流的开始时间、流间隔(距离上一条流结束的时间)、最近K个流的大小；应用级别属性包括：直到流开始时间为止的磁盘I/O(输入和输出)总量、直到流开始时间为止的内存I/O(输入和输出)总...

【专利技术属性】
技术研发人员：汪硕，王速，周栋，杨奕冉，张文杰，黄韬，霍如，刘韵洁，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11