一种计算任务跨区域调度成本核算方法技术

本发明专利技术公开了一种计算任务跨区域调度成本核算方法，属于云计算技术领域。本发明专利技术通过不同参数作用下阈值的产生机制和多种调度算法混合模式下的云资源调度机制这两个步骤予以实现。本发明专利技术的成本核算方法应用到跨域多云业务场景下进行改进，实现多云之间的一体调度、智能调度。本发明专利技术改变以往阈值固定和调度算法单一等问题，指导跨域云平台的一体化运作机制的实现和发展。本发明专利技术使用合理的任务调度器可以实现较高的资源利用率、保证不同任务之间的公平性、减少平均等待时间、提升用户满意度。本发明专利技术为了提高数据中心资源利用率，这些启发式调度方法与回填相结合，回填允许等待队列中的小任务提前被调度至集群中运行，不影响正在运行的其他任务。正在运行的其他任务。

【技术实现步骤摘要】
一种计算任务跨区域调度成本核算方法


[0001]本专利技术属于云计算
，具体涉及一种计算任务跨区域调度成本核算方法。

技术介绍

[0002]智能电网是未来电网的发展方向，以云计算为代表的新兴信息技术的应用将为电网企业更全面、更深入的电网运行模式和业务模式的革新提供支撑作为一种新兴的计算模型,云计算非常适合调度自动化系统对信息技术的要求能有在保证现有的调度自动化系统硬件基础设施基本不变的情况下，对当前系统的数据资源和处理器资源进行有效整合，从而大幅度提高电网实时控制和分析的能力，为智能调度的发展提供有效的支持。同时，调度自动化系统的应用特点也特别符合云计算的服务模式和技术模式。采用云计算，可以实现区域调度内的数据采集和共享以及辅助决策及分析。
[0003]经现有文献检索发现，中国专利公开号CN103812895A，公开日2014年05月21日的专利申请公开了调度方法、管理节点以及云计算集群，该专利技术的调度方法包括如下步骤：采集集群中各个计算节点的负载资源占用率；根据各个计算节点的负载资源占用率计算得到集群内资源的负载均衡率；如果负载均衡率大于或等于第一门限，则开启调度模块，以将负载从负载重的计算节点调度至负载轻的计算节点；如果负载均衡率小于或等于第二门限，则关闭调度模块，以禁止进行调度；如果负载均衡率小于第一门限且大于第二门限，则调度模块保持原来的状态不变。该专利技术的平均等待时间较长，资源利用率也较低，不能实现跨区域调度。

技术实现思路

[0004]本专利技术的目的在于提供一种平均等待时间短，资源利用率高，能够实现跨区域调度的计算任务跨区域调度成本核算方法。
[0005]为了实现上述专利技术目的，本专利技术采用以下技术方案：
[0006]一种计算任务跨区域调度成本核算方法，包括如下步骤：
[0007]1)不同参数作用下阈值的产生机制：
[0008]①
通过分析业务运行时候的各项运行参数和指标，获得运行指标和阈值之间的关系，同时通过限定变量的方式，对各个参数进行调整；
[0009]②
获得单一变量与阈值之间的变化关系，从而获得不同参数与阈值间的作用机理，最终建立动态阈值算法；
[0010]③
在多参数的作用下，实时动态产生最优阈值；
[0011]2)多种调度算法混合模式下的云资源调度机制：将不同类型的单一调度算法与组合模式进行结合，应用到跨域多云业务场景下进行改进，实现多云之间的一体调度、智能调度。
[0012]进一步地，所述步骤2)中以动态阈值和云资源调度算法为目标，实现大型计算需求下底层云资源的动态智能化调度。
[0013]根据以上特征，以用户、任务调出方、任务调入方为基础，利用博弈论构建以数据中心和计算任务为主的主从博弈模型。
[0014]在一些示例中，以计算需求，执行时间为要素，达成三方博弈平衡。
[0015]与现有技术相比，本专利技术的有益效果是：
[0016]1)本专利技术的成本核算方法应用到跨域多云业务场景下进行改进，实现多云之间的一体调度、智能调度。
[0017]2)本专利技术改变以往阈值固定和调度算法单一等问题，指导跨域云平台的一体化运作机制的实现和发展。
[0018]3)本专利技术使用合理的任务调度器可以实现较高的资源利用率、保证不同任务之间的公平性、减少平均等待时间、提升用户满意度。
[0019]4)本专利技术为了提高数据中心资源利用率，这些启发式调度方法与回填相结合，回填允许等待队列中的小任务提前被调度至集群中运行，不影响正在运行的其他任务。
具体实施方式
[0020]下面将更详细地描述本专利技术的实施例。然而应该理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本专利技术更加透彻和完整，并且能够将本专利技术的范围完整地传达给本领域的技术人员。本领域的技术人员可以在不偏离本专利技术精神和保护范围的基础上从下述描述得到替代技术方案。
[0021]实施例1
[0022]一种计算任务跨区域调度成本核算方法，包括如下步骤：
[0023]1)不同参数作用下阈值的产生机制：
[0024]①
通过分析业务运行时候的各项运行参数和指标，获得运行指标和阈值之间的关系，同时通过限定变量的方式，对各个参数进行调整；
[0025]②
获得单一变量与阈值之间的变化关系，从而获得不同参数与阈值间的作用机理，最终建立动态阈值算法；
[0026]③
在多参数的作用下，实时动态产生最优阈值；
[0027]2)多种调度算法混合模式下的云资源调度机制：将不同类型的单一调度算法与组合模式进行结合，应用到跨域多云业务场景下进行改进，实现多云之间的一体调度、智能调度。以动态阈值和云资源调度算法为目标，实现大型计算需求下底层云资源的动态智能化调度。改变以往阈值固定和调度算法单一等问题，指导跨域云平台的一体化运作机制的实现和发展。以用户、任务调出方、任务调入方为基础，利用博弈论构建以数据中心和计算任务为主的主从博弈模型。以计算需求，执行时间为要素，达成三方博弈平衡。实现经济最优为目标的三方收益最大化，提升计算任务调度效率，降低综合成本。
[0028]随着数据中心计算平台规模和复杂性的不断增加，任务调度在大规模数据中心中变得越来越重要和具有挑战性。数据中心的用户通过脚本或者命令将任务提交给平台集中式任务调度器。提交的任务信息包括请求的资源数、请求的运行时间、队列、任务号等。任务提交后在等待队列中等待被调度，直到系统中有足够的资源时，调度器会按照一定的顺序安排他们运行。合理的任务调度器可以实现较高的资源利用率、保证不同任务之间的公平性、减少平均等待时间、提升用户满意度等。一些调度策略使用最简单的优先级函数，如先
来先服务通过对任务提交时间进行排序设定优先级，最短作业优先使用预计的任务运行时间作为优先级计算标准，运行时间越短优先级越高，最小区域优先按照任务请求的区域(区域：运行时x资源)由小至大设定由高到低的优先级。此外，一些调度算法根据更多的任务属性计算优先级。为了提高数据中心资源利用率，这些启发式调度方法与回填相结合，回填允许等待队列中的小任务提前被调度至集群中运行，不影响正在运行的其他任务。然而，在跨域、跨时间尺度的东数西算场景中，计算资源和计算任务的调度会变的更加复杂。这将导致上述启发式调度难以施行，随着任务的数量、规模和特征的不断变化。手动设计的启发式调度算法很难有针对性地提高系统性能，同时它们也无法应对不断变化的任务负载和优化目标。
[0029]因此将多类型计算任务调度建模成序列决策问题，形式化定义马尔可夫决策过程,针对马尔可夫决策过程推导策略梯度并基于调度算法训练出调度算法是一个有潜力的方向。结合运行时作业剩余时间预测算法，计划设计一种基于深度强化学习的作业调度框架。在调度任务时，通过预测算法对集群中正在运行的任务预测其剩余执行时间，准确的剩余运行时间预测值为调度器掌握更准确的集群状态提供了保障本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算任务跨区域调度成本核算方法，其特征在于包括如下步骤：1)不同参数作用下阈值的产生机制：
①
通过分析业务运行时候的各项运行参数和指标，获得运行指标和阈值之间的关系，同时通过限定变量的方式，对各个参数进行调整；
②
获得单一变量与阈值之间的变化关系，从而获得不同参数与阈值间的作用机理，最终建立动态阈值算法；
③
在多参数的作用下，实时动态产生最优阈值；2)多种调度算法混合模式下的云资源调度机制：将不同类型的单一调度算法与组合模式进行结合，...

【专利技术属性】
技术研发人员：王蔚，张小东，杨明杰，罗发政，郭蕊，赵书函，刘宁，李泊恺，狄磊，
申请(专利权)人：国网甘肃省电力公司信息通信公司，
类型：发明
国别省市：