云计算中面向资源成本优化的多资源调度方法技术

本发明专利技术提供了一种云计算中面向资源成本优化的多资源调度方法，包括：步骤A：获取用户提交的应用；步骤B：根据用户提交的应用确定最优资源配置。本发明专利技术提供的SmartYARN算法很好地解决了云计算中多资源配置的最优化问题，即在保证用户设定的性能约束下，通过分配合理的云计算资源，使得用户的任务资源花费最少。本发明专利技术适用于拥有大数据量、运行时间较长、并且希望减少资源花费的批处理任务。大量实验测试表明本发明专利技术不仅能达到98％的实际最优化准确率，而且性能开销较小，通常只需要15步搜索就能找到适用于该任务的最优资源配置。

【技术实现步骤摘要】

本专利技术涉及云计算，具体地，涉及云计算中面向资源成本优化的多资源调度方法。
技术介绍
云计算是当下一种新型的网络计算模式，它通过互联网来提供动态易伸缩且一般是基于虚拟化资源的廉价计算服务，它是传统计算机、集群和网络技术发展融合的产物。云计算通常运行一个庞大的服务器集群，进而形成支撑计算服务的资源池，通过资源池统一组织底层机器，向上层提供中央处理器、内存、网络、磁盘等资源抽象。云用户的计算任务在运行过程中，需要申请利用一定数量的抽象资源，而无需考虑集群的具体配置。在这一模式中，云用户只需为他们所需的计算和存储资源支付费用。随着云的大规模使用和普及，使得人们如今对云的需求越来越大，通过云进行处理的数据量不断攀升。然而在该计算模式中，云用户对于自己提交的计算任务所需的计算和存储资源往往估量不准确。如果资源申请过少，任务的性能会受到影响；如果资源申请过多，超过任务的最大需求量，那么不仅用户需要支付更多的费用，而且云计算资源没有得到充分利用导致不必要的浪费。造成用户对计算任务所需资源估量不准的原因很多，影响最大的还是任务资源需求的多样性，例如任务可以分为CPU密集型，I/O密集型，Network密集型，甚至混合型等等，用户如果没有这方面的专业知识，很难判断准确。同时，在愈加复杂的云环境下，为了满足多租户多资源的优化分配，云资源的管理和调度要求也越来越高。多资源的分配和调度直接影响云计算的性能和利用率。由于多租户、多资源等因素，再考虑满足多租户的性能隔离、异质资源之间的联系，合理的资源模型亟待建立。通过建立合理的资源模型，根据不同的任务在不同的资源配置下的相应资源需求和性能指标，可以指导任务的更好的参数配置，还可以协同多资源利用来更好地调度任务，使得在满足任务性能需求的情况下，资源能得到更充分的利用，且用户的支出费用最小，实现云计算的经济性运行。如今，国内外大部分的科学研究都着重云计算的性能隔离与性能诊断、云计算的资源虚拟化与任务调度策略、云计算的低能耗与高性能等方面。例如，Intel开发并开源了HiBench基准测试工具；VMware提出并开发了vPerfGuard框架；微软研究院提出Pulsar系统；HPLabs提出了CloudMirror系统；芝加哥大学提出高效智能的LEO算法等等与此同时，云计算的多资源配置优化、能耗优化问题等研究逐渐发展起来，但是云计算的经济性运行并没有被很好地提出与解决。云计算的经济性运行的目标是在满足用户期望计算性能约束下，优化多资源配置，最大化减少用户的资源使用成本。实现云计算的经济性运行正是本专利技术的出发点和创新点。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种云计算中面向资源成本优化的多资源调度方法。根据本专利技术提供的一种云计算中面向资源成本优化的多资源调度方法，包括：步骤A：获取用户提交的应用；步骤B：根据用户提交的应用确定最优资源配置。优选地，所述步骤B包括：步骤B1：随机初始化转移状态数组Q-value，其中，转移状态数组中的每一个数值都代表当前状态接下来的动作相应的累积奖励值；步骤B2：根据转移状态数组为当前状态选择期望最大的一个动作；步骤B3：根据该动作计算出下一个状态作为转移状态；步骤B4：使用该转移状态对应的资源配置对用户提交的应用进行采样，记录采样的转移状态对应的性能和花费，然后结合当前状态对应的性能和花费，协同计算出该动作带来的奖励；其中，奖励等于性能提升与花费降低的效益之和；步骤B5：使用该动作的奖励更新当前状态的转移状态数组；步骤B6：将转移状态设置为新的当前状态，如果该当前状态资源配置下的采样性能达到用户设定的目标性能，而且花费比所有测试过的花费都少，那么进入步骤B7，否则跳转到步骤B2；步骤7：判断当前状态是否收敛；若收敛，则设置当前状态为最优资源配置，进入步骤B8，否则，则跳转到步骤B2；步骤8：返回最优资源配置。优选地，在所述步骤B5中，当前状态的转移状态数组的更新值＝(1–学习速率)*当前状态的转移状态数组+学习速率*(奖励+折扣因子*转移状态的转移状态数组中的最大值)。优选地，在所述步骤B7中，对当前状态能够选取的多个动作，依次进行测试，如果每个动作带来的奖励都是负值，那么设置当前状态为最优资源配置，进入步骤B8；否则跳转到步骤B2。优选地，还包括：步骤C：资源管理器使用所述最优资源配置为用户提交的应用分配第一个容器，并让对应的节点管理器在该第一个容器中启动应用控制节点；步骤D：应用控制节点首先向资源管理器注册，为应用控制节点的各个子任务申请资源，得到资源后便启动子任务并监控子任务的运行状态；其中，应用控制节点通过RPC协议轮询地向资源管理器申请资源；步骤E：一旦应用控制节点申请到资源后，便与对应的节点管理器通信要求启动子任务；步骤F：节点管理器为子任务设置好所需要的运行环境后，便通过启动脚本运行子任务。优选地，在步骤F中，各个子任务通过RPC协议定期向应用控制节点汇报自己的情况，以让应用控制节点了解子任务的运行状态，从而能够在子任务失败时重新启动子任务；全部子任务运行完成后，应用控制节点向资源管理器注销并关闭自己。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供的很好地解决了云计算中多资源配置的最优化问题，即在保证用户设定的性能约束下，通过分配合理的云计算资源，使得用户的任务资源花费最少。本专利技术适用于拥有大数据量、运行时间较长、并且希望减少资源花费的批处理任务。大量实验测试表明本专利技术不仅能达到98％的实际最优化准确率，而且性能开销较小，通常只需要15步搜索就能找到适用于该任务的最优资源配置。而Strawmen算法虽然准确率较高，但是性能开销太大，达不到优化的理想效果。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术的系统框架。图2为运行时间和数据量的关系对比：(a)TeraSort(b)WordCount(c)PageRank(d)Kmeans。图3为TeraSort任务在不同资源配置下的性能和花费。图4为TeraSort任务性能和花费的关系。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。本专利技术以主流的云计算框架Hadoop(YARN)的为研究平台。资源管理器(ResourceManager)和节点管理器(NodeManager)共同组成Hadoop(YARN)的计算框架。资源管理器负责分配资源，应用控制节点(ApplicationMaster)与资源管理器协商获取应用所需资源，并与节点管理器合作，执行任务和监控应用。值得注意的是，Hadoop(YARN)中的资源是以容器(Container)的形式封装的，容器的大小由应用控制节点指定申请，资源管理器管理调度，节点管理器分配执行。在Hadoop(YARN)执行任务的过程中，如果任务不显式指定每个子任务的资源需求量，那么Hadoop(YARN)将按照默认设置，即1vCPU/Task，1GBMemo本文档来自技高网...

【技术保护点】
一种云计算中面向资源成本优化的多资源调度方法，其特征在于，包括：步骤A：获取用户提交的应用；步骤B：根据用户提交的应用确定最优资源配置。

【技术特征摘要】
1.一种云计算中面向资源成本优化的多资源调度方法，其特征在于，包括：步骤A：获取用户提交的应用；步骤B：根据用户提交的应用确定最优资源配置。2.根据权利要求1所述的云计算中面向资源成本优化的多资源调度方法，其特征在于，所述步骤B包括：步骤B1：随机初始化转移状态数组Q-value，其中，转移状态数组中的每一个数值都代表当前状态接下来的动作相应的累积奖励值；步骤B2：根据转移状态数组为当前状态选择期望最大的一个动作；步骤B3：根据该动作计算出下一个状态作为转移状态；步骤B4：使用该转移状态对应的资源配置对用户提交的应用进行采样，记录采样的转移状态对应的性能和花费，然后结合当前状态对应的性能和花费，协同计算出该动作带来的奖励；其中，奖励等于性能提升与花费降低的效益之和；步骤B5：使用该动作的奖励更新当前状态的转移状态数组；步骤B6：将转移状态设置为新的当前状态，如果该当前状态资源配置下的采样性能达到用户设定的目标性能，而且花费比所有测试过的花费都少，那么进入步骤B7，否则跳转到步骤B2；步骤7：判断当前状态是否收敛；若收敛，则设置当前状态为最优资源配置，进入步骤B8，否则，则跳转到步骤B2；步骤8：返回最优资源配置。3.根据权利要求2所述的云计算中面向资源成本优化的多资源调度方法，其特征在于，在所述步骤B5中，当前状态的转移状态数组的更新值＝(1–学习速...

【专利技术属性】
技术研发人员：姚建国，徐宇，管海兵，靳丹，杨波，张磊，杨鹏，杨明杰，郑毅，李晨曦，王刚，
申请(专利权)人：上海交通大学，国网甘肃省电力公司信息通信公司，
类型：发明
国别省市：上海;31