【技术实现步骤摘要】
YARN集群资源调度方法、装置、介质和计算机设备
[0001]本公开实施例涉及计算机集群资源管理
，尤其涉及一种YARN集群资源调度方法，YARN集群资源调度装置，以及实现YARN集群资源调度方法的计算机可读存储介质和计算机设备。
技术介绍
[0002]YARN是一种新的Hadoop资源管理系统，它将资源管理从计算框架中分离出来，变成一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。
[0003]YARN系统通常可由资源管理器RM(Resource Manager)，节点管理器NM(NodeManager)，应用管理器AM(Application Master)以及资源容器(Container)等组成。在资源调度时，存在一些刚性资源请求，例如科学计算或者是机器学习的训练任务的资源请求，这些作业任务在资源请求时如果申请了例如1000核(core)CPU资源，那么最终必须在规定的时间内把1000核CPU资源全部分配给用户，否则任务就会失败，如分配到500核CPU资源，没有达到作业任务所需的总资源，则作业任
【技术保护点】
【技术特征摘要】
1.一种YARN集群资源调度方法，其特征在于，应用于资源管理器，该方法包括：接收应用管理器发送的作业任务的作业资源请求；确定所述作业资源请求是刚性资源请求时，将所述刚性资源请求添加至请求队列中；其中，所述请求队列中包括多个请求单元，不同作业任务所属的多个刚性资源请求被添加至对应的不同请求单元中；启动多个第一线程，每个所述第一线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理；每个所述第一线程在资源预分配之后，判断每个预分配结果是否满足对应的作业任务的资源需求量；若是，则每个所述第一线程分别提交所述预分配结果至所述应用管理器。2.根据权利要求1所述的资源调度方法，其特征在于，所述每个所述第一线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理，包括：获取集群所有节点构成节点列表；从所述节点列表中过滤符合预设过滤条件的节点，得到待分配节点列表；基于至少一个约束条件对所述待分配节点列表中的每个节点计算节点分值；基于所述节点分值从所述待分配节点列表中确定目标候选节点；在所述目标候选节点上为对应的所述请求单元中的所述多个刚性资源请求进行资源预分配。3.根据权利要求2所述的资源调度方法，其特征在于，所述预设过滤条件至少包括节点负载大于预设负载；和/或，所述至少一个约束条件包括节点属性的弱约束条件。4.根据权利要求1或2所述的资源调度方法，其特征在于，所述方法还包括：每个所述第一线程在资源预分配之后，判断预分配结果不满足对应的作业任务的资源需求量时，取消预分配结果以释放所述预分配结果中的资源。5.根据权利要求4所述的资源调度方法，其特征在于，所述方法还包括：在预分配结果不满足对应的作业任务的资源需求量时，判断所述作业任务所属的刚性资源请求是否携带指定重试信息；若是，则将所述作业任务所属的刚性资源请求重新添加至所述请求队列中。6.一种YARN集群资源调度方法，其特征在于，应用于资源管理器，该方法包括：接收应用管理器发送的作业任务的作业资源请求；确定所述作业资源请求是刚性资源请求时，将所述刚性资源请求添加至请求队列中；其中，所述请求队列中包括多个请求单元，不同作业任务所属的多个刚性资源请求被添加至对应的不同请求单元中；启动多个第二线程，每个所述第二线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源分配处理。7.根据权利要求6所述的资源调度方法，其特征在于，所述每个所述第二线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源分配处理，包括：获取集群所有节点构成节点列表；
从所述节点列表中筛选过滤掉符合预设过滤条件的节点，得到待分配节点列表；基于至少一...
【专利技术属性】
技术研发人员：辛朝晖，李亚坤，张帅，师锐，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。