网络任务预测方法和装置制造方法及图纸

本发明专利技术公开了一种网络任务预测方法和装置，其中的方法包括：通过任务分类器对请求处理的任务进行分组处理，生成至少一个任务集群；获得单位时间内任务群集中增加的任务数量，基于增加的任务数量判断此任务群集是否进入突发状态；基于判断结果选取对应的预测算法预测此任务群集中的未来任务到达的预测值，其中，预测值包括：未来任务的到达预测时间和到达预测数量。本发明专利技术的方法和装置，将正常情况下的移动平均预测方法与突发情况下的趋势外推预测方法相结合，预测即将到来的工作量爆发，及时发现正常情况下的突发情况，能够自适应资源调配方面的有效工作流量突发。

【技术实现步骤摘要】
网络任务预测方法和装置
本专利技术涉及云计算
，尤其涉及一种网络任务预测方法和装置。
技术介绍
云计算已经成为近几十年来计算机科学中最热门的话题之一，随着虚拟化推进云计算现在允许按需网络访问共享的可配置计算资源池，从而将这些快速地提供给互联网上的客户端，作为不再限于传统的基础设施即服务(IaaS)的新形式的服务，平台即服务(PaaS)或软件即服务(SaaS)，而数据即服务(DaaS)，分析即服务(AaaS)等。在现代计算云中，工作负载突发越来越频繁，难以预测。这可能是因为网民需求的不断增长和社交网络的普及，公众的兴趣可以很容易的把握，从而在相当短的时间内引起网络用户的大量请求，之后可能出现网络流量瘫痪。例如，当一个名人发布令人吃惊的推特或者一些在线零售商在某个时候推出折扣时，可能会给相关网站带来突然的工作量。如果计算资源没有得到适当及时的重新配置，网站或应用程序可能会崩溃，造成用户的不满甚至财务损失，这是云提供商或客户和客户所不希望的。因此，需要一种新的网络任务预测的技术方案。
技术实现思路
有鉴于此，本专利技术要解决的一个技术问题是提供一种网络任务预测方法和装置。根据本专利技术的一个方面，提供一种网络任务预测方法，包括：通过任务分类器对请求处理的任务进行分组处理，生成至少一个任务集群；获得单位时间内任务群集中增加的任务数量，基于所述增加的任务数量判断此任务群集是否进入突发状态；基于判断结果选取对应的预测算法预测此任务群集中的未来任务到达的预测值，其中，所述预测值包括：未来任务的到达预测时间和到达预测数量。根据本专利技术的另一方面，提供一种网络任务预测装置，包括：任务分组模块，用于通过任务分类器对请求处理的任务进行分组处理，生成至少一个任务集群；趋势预测模块，用于获得单位时间内任务群集中增加的任务数量，基于所述增加的任务数量判断此任务群集是否进入突发状态；基于判断结果选取对应的预测算法预测此任务群集中的未来任务到达的预测值，其中，所述预测值包括：未来任务的到达预测时间和到达预测数量。本专利技术的网络任务预测方法和装置，通过任务分类器对任务进行分组处理，将任务分配给与其相似度最高的任务群集；预测多个任务群集中的未来任务到达的预测值，将正常情况下的移动平均预测方法与突发情况下的趋势外推预测方法相结合，预测即将到来的工作量爆发，及时发现正常情况下的突发情况，能够自适应资源调配方面的有效工作流量突发。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的网络任务预测方法的一个实施例的流程示意图；图2A-2F为本专利技术的网络任务预测方法的一个实施例中的在分组时距离计算的示意图；图3为本专利技术的网络任务预测方法的一个实施例中的高斯曲线的模拟工作负荷尖峰示意图；图4A-4D为本专利技术的网络任务预测方法的一个实施例中的四组任务的不同预测结果示意图；图5A为本专利技术的网络任务预测装置的一个实施例的模块示意图；图5B为趋势预测模块的模块示意图；图6为本专利技术的网络任务预测装置的一个实施例在实际场景中的模块示意图；图7为本专利技术的网络任务预测装置的另一个实施例中的模块示意图；具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。图1为本专利技术的网络任务预测方法的一个实施例的流程示意图，如图1所示：步骤101，通过任务分类器对请求处理的任务进行分组处理，生成至少一个任务集群。步骤102，获得单位时间内任务群集中增加的任务数量，基于增加的任务数量判断此任务群集是否进入突发状态。步骤103，基于判断结果选取对应的预测算法预测此任务群集中的未来任务到达的预测值，其中，预测值包括：未来任务的到达预测时间和到达预测数量。在单位时间内，如果确定任务群集中任务数量的增加加速度为连续递增，或者，任务数量的增加加速度的值超过预设的加速度阈值的次数超过预设的次数阈值，则确定任务群集进入了突发状态。在确定进入突发状态后，如果确定在单位时间内，任务群集中任务数量的增加加速度为连续减少，或者，任务数量的增加加速度的值低于加速度阈值的次数超过次数阈值，则确定回到常规状态。在一个实施例中，接收到请求处理的任务，通过任务分类器对任务进行分组处理，将任务分配给与其相似度最高的任务群集。任务包括服务请求任务、计算请求任务等。任务可以为终端用户提交到数据中心的请求，可以是一项大型的科学计算，也可以是网页访问操作，也可以是数据读取、数据分析、数据处理、数据存储等常规操作等。基于预设的预测算法分别预测多个任务群集中的未来任务到达的预测值，预测值包括未来任务的到达预测时间和到达预测数量。预测值的到达预测时间和到达预测数量可以使用坐标系中的一条曲线表示，曲线的斜率可以表示为工作量到达率。可以在正常场景和突发场景两个不同的特征场景下分别连续预测未来任务的到达预测时间和到达预测数量。根据预测值对物理机PM和虚拟机VM进行相应地重新部署，以使在未来任务的任务量峰值到来时具有足够的处理资源。当到达未来任务的到达预测时间时，基于实际接收到的任务数量与未来任务的到达预测数量的差值，重新调整任务分类器以及预测算法的参数。上述实施例的网络任务预测方法，能够采用自适应预测，可以在正常场景和突发场景下分别连续预测即将到来的工作量，物理机PM和虚拟机VM将根据其数量和预计到达时间相应地重新部署。在一个实施例中，通过任务分类器对任务进行分组处理可以有多种方法。例如，选取任务的历史数据，采用k-means聚类方法对历史数据进行预分组，得到多个任务群集，并获得每个任务群集的群集特征属性值。接收到任务时，获取任务的特征属性值，群集特征属性值与特征属性值包括到达时间、计算长度、截止时间要求、所需内存大小等。任务分类器分别计算特征属性值与多个群集特征属性值之间的马氏距离，将此任务分配给与最小的马氏距离相对应的任务群集。任务的工作量爆发通常与突然关注某些热门话题或某些特殊事件有关，可以推断在这段时间内任务的属性与正常情况下的属性不同，因此，对于不同的任务，可以有到达率的特征曲线和其他特征如CPU，记忆，运行时间等。进行分组处理的簇数可以预设在2至5的范围内，以使分组的结果能够代表来自正常场景或突发场景的任务的可区分性状。需要选择较宽的历史数据作为训练数据来获得每个任务群集的特征，它们将作为分类的标准，每个任务群集的构成随着时间的变化而变化，同时分组的参数也会根据整体的表现进行调整和重新设置，在实现任务分组时，首先要考虑一系列合适的任务属性。到达任务最有影响的因素是其给定的计算长度和所需的内存大小以及预期的运行时间，因为它们决定了后续的工作量分配，最终决定了总体性能的最终质量。对于任务集T中的每个给定的任务ti，可以用ti＝(ai,li,di,mi)来建模，其中ai，li，di和mi分别表示到达时间，计算长度，期望的期限和内存大小的任务ti，采用低复杂度的聚类方法k-means，以较粗糙本文档来自技高网...

【技术保护点】
1.一种网络任务预测方法，其特征在于，包括：通过任务分类器对请求处理的任务进行分组处理，生成至少一个任务集群；获得单位时间内任务群集中增加的任务数量，基于所述增加的任务数量判断此任务群集是否进入突发状态；基于判断结果选取对应的预测算法预测此任务群集中的未来任务到达的预测值，其中，所述预测值包括：未来任务的到达预测时间和到达预测数量。

【技术特征摘要】
1.一种网络任务预测方法，其特征在于，包括：通过任务分类器对请求处理的任务进行分组处理，生成至少一个任务集群；获得单位时间内任务群集中增加的任务数量，基于所述增加的任务数量判断此任务群集是否进入突发状态；基于判断结果选取对应的预测算法预测此任务群集中的未来任务到达的预测值，其中，所述预测值包括：未来任务的到达预测时间和到达预测数量。2.如权利要求1所述的方法，其特征在于，所述基于所述增加的任务数量判断此任务群集是否进入突发状态包括：在单位时间内，如果确定任务群集中任务数量的增加加速度为连续递增，或者，所述任务数量的增加加速度的值超过预设的加速度阈值的次数超过预设的次数阈值，则确定任务群集进入了突发状态。3.如权利要求2所述的方法，其特征在于，还包括：在确定进入突发状态后，如果确定在单位时间内，任务群集中任务数量的增加加速度为连续减少，或者，所述任务数量的增加加速度的值低于所述加速度阈值的次数超过所述次数阈值，则确定回到常规状态。4.如权利要求1所述的方法，其特征在于，所述基于判断结果选取对应的预测算法分别预测此任务群集中的未来任务到达的预测值包括：如果判断此任务群集进入突发状态，则采用突发预测算法预测此任务群集中的未来任务到达的预测值为：如果判断此任务群集进入突发状态，则采用常规预测算法预测此任务群集中的未来任务到达的预测值为：其中，s为预测的窗口时长,此时为t时刻，et+s为根据t时刻的任务到达数量对t+s时刻的任务达到数量的预测值，b1,b2,b3是预测参数，exp()为以自然底数e为底的指数函数，window为设定的影响预测值的历史数据个数，Win为第in个任务的历史数据对预测值的影响权重，i指的是在t时刻往回拨in个时间点所对应的时间长度，ct-i指t-i时刻的任务到达数量。5.如权利要求1所述的方法，其特征在于，还包括：选取所述任务的历史数据，采用k-means聚类方法对所述历史数据进行预分组，得到所述多个任务群集，并获得每个任务群集的群集特征属性值；接收到所述任务时，获取所述任务的特征属性值；通过任务分类器分别计算所述特征属性值与多个所述群集特征属性值之间的马氏距离，将此任务分配给与最小的马氏距离相对应的任务群集；其中，所述任务包括：服务请求任务、计算请求任务。6.一种网络任务预测...

【专利技术属性】
技术研发人员：朱晓敏，包卫东，陈俊杰，张国良，吴冠霖，闫辉，杨骋，张雄涛，张亮，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43