一种资源调度方法及装置制造方法及图纸
【技术实现步骤摘要】
一种资源调度方法及装置
本专利技术涉及资源管理
，尤其涉及一种资源调度方法及装置。
技术介绍
随着互联网的快速发展和大数据时代的来临，基于数据密集型应用的计算框架不断涌现，不同的计算框架面向不同领域的应用。基于这一特点，一些公司(例如，互联网公司)往往需要部署和运行多个计算框架，从而为每个应用选择最优的计算框架。因此，集群资源统一管理和调度系统作为集群资源共享平台被提出来，该系统中包括集群，集群包括资源管理器和多个节点，集群资源即多个节点的资源，资源管理器部署在集群中的节点上，该系统需要同时支持多种不同的计算框架，如图1所示的系统，该系统支持MR(即MapReduce)、Storm、S4(SimpleScalableStreamingSystem)以及MPI(MessagePassingInterface)等计算框架，资源管理器通过对客户端设备发送的不同计算框架类型的应用程序进行统一的调度，以便提高资源利用率，降低运维成本。目前，集群资源统一管理和调度系统经常采用的资源调度策略包括公平调度策略、容量调度策略和先进先出调度策略，公平调度策略即按照客户端设备提交...
【技术保护点】
一种资源调度方法，其特征在于，应用于资源管理器，所述资源管理器用于管理和调度集群资源，所述集群包括多个节点，与所述集群支持的计算框架适配的R个应用程序运行在所述多个节点上，R为正整数，所述方法包括：所述资源管理器接收所述R个应用程序的资源请求；所述资源管理器获取历史特征信息，所述历史特征信息包括第一历史特征信息和第二历史特征信息中的至少一项，所述第一历史特征信息为所述R个应用程序中的N个应用程序的历史特征；所述第二历史特征信息为所述多个节点中的M个节点的历史特征；所述M个节点为所述多个节点中的有空闲资源的M个节点，其中，应用程序的历史特征包括用于表示该应用程序的历史资源使用...
【技术特征摘要】
1.一种资源调度方法，其特征在于，应用于资源管理器，所述资源管理器用于管理和调度集群资源，所述集群包括多个节点，与所述集群支持的计算框架适配的R个应用程序运行在所述多个节点上，R为正整数，所述方法包括：所述资源管理器接收所述R个应用程序的资源请求；所述资源管理器获取历史特征信息，所述历史特征信息包括第一历史特征信息和第二历史特征信息中的至少一项，所述第一历史特征信息为所述R个应用程序中的N个应用程序的历史特征；所述第二历史特征信息为所述多个节点中的M个节点的历史特征；所述M个节点为所述多个节点中的有空闲资源的M个节点，其中，应用程序的历史特征包括用于表示该应用程序的历史资源使用情况的信息和用于表示该应用程序的历史运行时间的信息中的至少一项，节点的历史特征包括该节点的故障率以及任务失败率中的至少一项，1≤N≤R，M≥1，N、M均为整数；所述资源管理器根据所述第一历史特征信息和第一调度策略为所述N个应用程序调度资源；或者，所述资源管理器根据所述第二历史特征信息和第二调度策略为所述R个应用程序中的至少一个应用程序调度资源。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述资源管理器根据所述第一历史特征信息调整第一调度参数，所述第一调度参数包括所述N个应用程序中的每个应用程序对应的调度参数，所述第一调度参数用于确定为所述N个应用程序调度资源的顺序；所述资源管理器根据所述第一历史特征信息和第一调度策略为所述N个应用程序调度资源，包括：所述资源管理器根据调整后的第一调度参数和所述第一调度策略为所述N个应用程序调度资源。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述资源管理器根据所述第一历史特征信息和所述第二历史特征信息调整第一调度参数，其中，所述第一调度参数包括所述N个应用程序中的每个应用程序对应的调度参数和所述M个节点中的每个节点对应的调度参数，所述第一调度参数用于确定为所述N个应用程序调度资源的顺序和调度所述M个节点的资源的顺序；所述资源管理器根据所述第一历史特征信息和第一调度策略为所述N个应用程序调度资源，包括：所述资源管理器根据调整后的第一调度参数和所述第一调度策略为所述N个应用程序调度资源。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述资源管理器根据所述第二历史特征信息调整第二调度参数，所述第二调度参数包括所述M个节点中的每个节点对应的调度参数，所述第二调度参数用于确定调度所述M个节点的资源的顺序；所述资源管理器根据所述第二历史特征信息和第二调度策略为所述R个应用程序中的至少一个应用程序调度资源，包括：所述资源管理器根据调整后的第二调度参数和所述第二调度策略为所述R个应用程序中的至少一个应用程序调度资源。5.根据权利要求3所述的方法，其特征在于，所述N个应用程序的历史特征包括所述N个应用程序中的每个应用程序的综合历史运行时长；所述M个节点的历史特征包括所述M个节点中的每个节点的故障率和任务失败率，所述资源管理器根据所述第一历史特征信息和所述第二历史特征信息调整第一调度参数，包括：所述资源管理器确定所述N个应用程序中的每个应用程序的综合历史运行时长；所述资源管理器根据所述M个节点中的每个节点的故障率和任务失败率计算所述M个节点中的每个节点的健康率，一个节点的健康率等于该节点的故障率的α倍与该节点的任务失败率的β倍之和，α＝1-β，0＜α＜1；所述资源管理器根据调整后的第一调度参数和所述第一调度策略为所述N个应用程序调度资源，包括：所述资源管理器将节点的健康率越高的节点的资源分配给综合历史运行时长越长的应用程序。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：所述资源管理器多次计算所述多个节点中的全部节点的任务成功率，并在每次计算完成后根据所述任务成功率调整所述α的值，直至确定出的所述α的值使得所述任务成功率最高为止。7.根据权利要求2所述的方法，其特征在于，所述N个应用程序的历史特征包括所述N个应用程序中的每个应用程序的综合历史资源利用率、综合历史资源使用量和综合历史资源申请量，所述资源管理器根据所述第一历史特征信息调整第一调度参数，包括：当该应用程序的综合历史资源利用率小于预设阈值时，所述资源管理器采用预设算法对该应用程序的综合历史资源使用量初次计算得到该应用程序对应的第一阈值，所述第一阈值大于该应用程序的综合历史资源使用量；所述资源管理器将该应用程序的综合历史资源申请量确定为该应用程序对应的第二阈值，所述第一阈值小于所述第二阈值；所述资源管理器根据调整后的第一调度参数和所述第一调度策略为该应用程序调度资源，包括：所述资源管理器按照所述第一阈值为该应用程序调度资源、并实时监控该应用程序实际使用的资源量是否超过第一阈值，若是，采用预设算法对该应用程序实际使用的资源量再次计算得到该应用程序对应的第一阈值，并按照本次计算得到的第一阈值与前一次计算得到的第一阈值的差值为该应用程序增加资源，直至该应用程序实际使用的资源为所述第二阈值为止。8.根据权利要求1-7任一项所述的方法，其特征在于，所述历史资源包括所述节点的中央处理器CPU资源、内存资源、磁盘空间资源、磁盘I/O资源、网络I/O资源和文件句柄数资源中的一种或多种资源。9.一种资源调度装置，其特征在于，用于管理和调度集群资源，所述集群包括多个节点，与所述集群支持的计算框架适配的R个应用程序运行在所述多个节点上，R为正整数，所述装置包括：接收单元，用于接收所述R个应用程序的资源请求；获取单元，用于获取历史特征信息，所述历史特征信息包括第一历史特征信息和第二历史特征信息中的至少一项，所述第一历史特征信息为所述R个应用程序中的N个应用程序的历史特征；所述第二历史特征信息为所述多个节点中的M个节点的历史特征；所述M个节点为所述多个节点中的有空闲资源的M个节点，其中，应用程序的历史特征包括用于表示该应用程序的历史资源使用情况的信息和用于表示该应用程序的历史运行时间的信息中的至少一项，节点的历史特征包括该节点的故障率以及任务失败率中的至少一项，1≤N≤R，M≥1，N、M均为整数；调度单元，用于根据所述第一历史特征信息和第一调度策略为所述N个应用程序调度资源；或者，根据所述第二历史特征信息和第二调度策略为所述R个应用程序中的至少一个应用程序调度资源。10.根据权利要求9所述的装置，其特征在于，所述装置还包括：调整单元，用于根据所述第一历史特征信息调整第一调度参数，所述第一调度参数包括所述N个应用程序中的每个应用程序对应的调度参数，所述第一调度参数用于确定为所述N个应用程序调度资源的顺序；所述调度单元，具体用于：根据调整后的第一调度参数和所述第一调度策略为所述N个应用程序调度资源。11.根据权利要求9所述的装置，其特征在于，所述装置还包括：调整单元，用于根据所述第一历史特征信息和所述第二历史特征信息调整第一调度参数，其中，所述第一调度参数包括所述N个应用程序中的每个应用程序对应的调度参数和所述M个节点中的每个节点对应的调度参数，所述第一调度参数用于确定为所述N个应用程序调度资源的顺序和调度所述M个节点的资源的顺序；所述调度单元，具体用于：根据调整...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。