一种预测执行任务执行时间的组合优化调度方法技术

本发明专利技术涉及一种预测执行任务执行时间的组合优化调度方法，包括步骤：1、基于CREST组合优化预测执行任务调度模型；2、采集节点间带宽和节点处理能力能细粒度资源信息；3、根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；4、设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；5、设计慢任务最优组合重执行方案，根据重调度任务的预计完成时间及慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；6、设置权重，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。与现有技术相比，本发明专利技术具有有效缩短预测执行任务运行时间、提升性能效益、满足数据本地性需求等优点。

【技术实现步骤摘要】
一种预测执行任务执行时间的组合优化调度方法
本专利技术涉及一种离线作业调度方法，尤其是涉及一种预测执行任务执行时间的组合优化调度方法。
技术介绍
供配电大数据应用需要实现海量数据实时处理，需要依赖现有并行处理技术，同时还强调相关计算与存储能力的灵活性、可靠性、可管理性和经济性。其中，在对类似MapReduce等离线作业进行调度时，MapReduce作业的运行时间由执行时间最长的Map任务和运行时间最长的Reduce任务的运行时间之和决定，因此，要使作业的运行时间最短，就要最小化Map任务的运行时间和Reduce任务的运行时间的最大值。因此，如何最小化MapReduce作业运行时间转化为一个Min-Max优化问题。现有技术可实现作业运行时间基本的最小化，但在最优情况下无法有效地增加性能增益，且不能良好地适用于分布计算环境中的资源的异构性和动态性。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种预测执行任务执行时间的组合优化调度方法。本专利技术的目的可以通过以下技术方案来实现：由于Reduce任务数目比较少，任务需要传输的数据集较小，其输入数据需要从所有Map任务获取，不存在数据本地性问题。因此，采用CREST技术可降低所有Map任务中慢任务的运行时间，因而问题可以进一步转化为如何最小化Map慢任务的预测执行任务的执行时间tspec。在一个支持离线调度的网络中，任务节点之间的带宽较小，任务节点的处理能力异构，需要在调度预测执行任务时考虑数据本地性需求。针对分布计算环境中的资源的异构性和动态性，产生了一系列资源监控的方法和系统。同时，关于MapReduce作业中任务的执行时间模型和通过样本任务的抽样运行来预测节点对任务的处理能力等方法也取得了很好的应用效果。因此，分布计算环境中节点间的带宽和处理任务的能力等细粒度资源信息可以用于优化预测执行任务调度。基于上述内容，本专利技术涉及一种预测执行任务执行时间的组合优化调度方法，该方法包括以下步骤：S1：基于CREST(CombinationRe-ExecutionSpeculativeTechnology，组合优化的预测执行技术)组合优化预测执行任务调度模型；CREST包含CREST组合优化预测执行任务调度模型和CREST组合重执行调度算法及其实现两部分。由于每个计算节点之间都存在直接网络连接，即任意两点的通讯不需要第三个节点转发，因此，采用完全图表示节点的网络拓扑结构图和任务迁移图。CREST组合优化预测执行任务调度模型是一个有向完全图，每条边代表一个可能的迁移路径，即将该边始点上运行的任务结束，迁移到该边的终点上重新执行。预测执行任务的调度通常存在两种机制：1)LATE：直接在空闲资源上运行预测执行任务；2)CREST：一种组合重执行机制，其组合重执行方案可视为从慢任务节点到空闲节点的一条无环路径。对该路径上的每条边，其始点上的任务被迁移到其终点上重新执行，依次顺延，保留慢任务节点上的慢任务继续执行。假设组合重执行机制中不存在节点之间互换作业的情况，即路径中不存在环路，因已经开始运行的作业其数据已经传输到节点本地，且Map任务的负载大致相当，初始分配作业时已经考虑到了数据本地性的要求，因此节点之间互换作业并不会带来性能收益。S2：引入节点间带宽和节点处理能力能细粒度资源信息。对有向完全图的边(u，v)而言，假设Tu表示节点u上运行的Map任务，d(Tu)表示Tu所处理的数据，|d(Tu)|表示d(Tu)的大小，PRv表示节点完成该类型Map任务的进度速率(ProgressRate)，bw(u，v)表示节点u，v之间网络连接的带宽。S3：获取重调度任务的预计完成时间。给定节点u上执行的Map任务重新调度到节点v上执行，则其预计完成时间(ExpectedTimetoFinish，ETF)用t′etf(u，v)表示，定义为式：其中，tc表示当前时刻。数据传输时间tdata_movement可由公式得到：需要指出的是，d(Tu)可以从u以外的节点传输到v，在算法实现中使用副本优化选择策略来加速传输。S4：获取重执行慢任务组合方案。给定s表示慢任务运行节点，f表示空闲节点，PATH(s，f)示从s到f的一条路径，PATH(s，f)沿着级联地将所有包含边中起始节点的任务迁移到终止节点上执行，定义为沿PATH(s，f)的慢任务的组合重执行方案。慢任务组合重执行预计完成时间为：给定沿的慢任务组合重执行，则其预计完成时间定义为所有迁移作业的预计完成时间的最大值，其表达式为：S5：获取慢任务最优组合重执行方案。最优慢任务组合执方案定义为预测完成时间最小的组合重新执行方案，用CRES表示，即慢任务最优组合重执行预计完成时间为：tspec(CRES)＝min(tspec(PATH(s，f)))forallpathconnects，f…则沿最优组合重执行方案所取得的慢任务预测执行的预计完成时间为：tcres＝min(tspec(PATH(s，f)))forallpathconnects，f综合步骤S3可获取组合重执行优化的目标方程为：S6：调节权重，获取缩短的预测执行任务运行时间。将任务调度模型图中有向边(u，v)的权重设置为t′etf(u，v)，该权值大于零，则慢任务最优组合重执行方案在任务调度模型图中上体现为一条最优路径(CRES)，该路径的权值不是所含边的权值算术和，而是所含边中权值的最大值。优化后即可获取有效缩短的预测执行任务运行时间。与现有技术相比，本专利技术具有以下优点：(1)本专利技术采用CREST技术平均能够缩短50％以上的预测执行任务运行时间，在最优情况下，这一性能增益可达70％，同时，采用CREST技术时，有超过50％的概率获得40％以上的性能收益，随着副本数因子增大，采用CREST技术的性能提升幅度进一步变大；(2)本专利技术引入了节点间带宽和节点处理能力能细粒度资源信息来设计组合优化机制，可满足预测执行任务的数据本地性需求，并良好地适用于分布计算环境中的资源的异构性和动态性。附图说明图1为本专利技术的流程图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。实施例如图1所示，本专利技术涉及一种预测执行任务执行时间的组合优化调度方法，包括以下步骤：1)基于CREST技术组合优化预测执行任务调度模型；2)采集节点间带宽和节点处理能力能细粒度资源信息；3)根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；4)设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；5)设计慢任务最优组合重执行方案，根据步骤3)获取的重调度任务的预计完成时间及步骤4)获取的慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；6)设置权值，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。在一个支持离线调度的网络中，任务节点之间的带宽较小，任务节点的处理能力异构，需要在调度预测执行任务时考虑数据本地性需求。针对分布计算环境中的资源的异构性和动态性，产生了一系列资源监控的方法和系统。同时，关于MapReduce作业中任务的执行时间模型和通过样本任务的抽样运行来预测节点对任务的处理能力等方法也取得了很好的应用效果。因此，分布计算环境中本文档来自技高网...

【技术保护点】
1.一种预测执行任务执行时间的组合优化调度方法，其特征在于，该方法包括以下步骤：1)基于CREST技术组合优化预测执行任务调度模型；2)采集节点间带宽和节点处理能力能细粒度资源信息；3)根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；4)设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；5)设计慢任务最优组合重执行方案，根据步骤3)获取的重调度任务的预计完成时间及步骤4)获取的慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；6)设置权重，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。

【技术特征摘要】
1.一种预测执行任务执行时间的组合优化调度方法，其特征在于，该方法包括以下步骤：1)基于CREST技术组合优化预测执行任务调度模型；2)采集节点间带宽和节点处理能力能细粒度资源信息；3)根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；4)设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；5)设计慢任务最优组合重执行方案，根据步骤3)获取的重调度任务的预计完成时间及步骤4)获取的慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；6)设置权重，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。2.根据权利要求1所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，CREST包括CREST组合优化预测执行任务调度模型和CREST组合重执行调度算法及其实现两部分，所述的CREST组合优化预测执行任务调度模型为一个有向完全图。3.根据权利要求2所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤1)的具体内容为：采用完全图表示节点的网络拓扑结构图和任务迁移图，CREST组合优化预测执行任务调度模型的有向完全图的每条边代表一个可能的迁移路径，将该边始点上运行的任务结束，迁移到该边的终点上重新执行。4.根据权利要求3所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤2)中，节点间带宽和节点处理能力能细粒度资源信息包括节点上运行的Map任务、Map任务所处理的数据、处理的数据的大小、节点完成该类型Map任务的进度速率以及节点之间网络连接的带宽。5.根据权利要求4所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤3)中，重调度任务的预计完成时间t′etf(u，v)的表达式为：式中，tc为当前时刻，tdata_movement为数据传输时间，(u，v)为有向完全图的边，u，v分别为两个节点，Tu为节点u上运行的Map任务，d(Tu)为Tu所处理的数据，|d(Tu...

【专利技术属性】
技术研发人员：郭乃网，田英杰，苏运，陈睿，宋岩，沈泉江，庞天宇，方炯，杨洪山，
申请(专利权)人：国网上海市电力公司，华东电力试验研究院有限公司，星环信息科技上海有限公司，
类型：发明
国别省市：上海,31