【技术实现步骤摘要】
一种资源分配方法及装置
本公开涉及计算机
,具体而言,涉及一种资源分配方法及装置。
技术介绍
Yarn是一种分布式资源调度器组件,Yarn由节点管理器、资源管理器、资源调度器等组成,节点管理器负责监控各个节点当前可分配的资源数量,并将各个节点当前可分配的资源数量发送给资源管理器,资源管理器将接收的可分配的资源数量存储在数据表中,资源调度器从资源管理器中获取数据表中的数据信息,并基于获取的数据表中的数据信息,为各个节点分配资源。一般Yarn中包括多个资源调度器,各个资源调度器在计算为各个节点分配的资源时,会先将数据表进行锁定,然后在计算出为各个节点分配的资源之后,再对数据表进行更新,其他资源调度器再对更新后的数据表进行锁定,并执行计算为各个节点分配资源的步骤。在上述过程中,各个资源调度器的计算过程是串行进行的,这就导致计算速度较慢,资源分配的效率较低。
技术实现思路
本公开实施例至少提供一种资源分配方法及装置。第一方面,本公开实施例提供了一种资源分配方法,包括:接收资源 ...
【技术保护点】
1.一种资源分配方法,其特征在于,应用于资源调度器,包括:/n接收资源分配请求;/n获取资源管理器中存储的数据表的数据快照,其中,所述数据表中包括多个节点管理器对应的可分配的资源信息;/n在基于所述数据表的数据快照,确定所述资源分配请求对应的资源分配结果之后,对当前所述资源管理器中的数据表进行锁定;/n基于锁定的数据表,确定是否执行所述资源分配结果,若是,则基于所述资源分配结果进行资源分配。/n
【技术特征摘要】
1.一种资源分配方法,其特征在于,应用于资源调度器,包括:
接收资源分配请求;
获取资源管理器中存储的数据表的数据快照,其中,所述数据表中包括多个节点管理器对应的可分配的资源信息;
在基于所述数据表的数据快照,确定所述资源分配请求对应的资源分配结果之后,对当前所述资源管理器中的数据表进行锁定;
基于锁定的数据表,确定是否执行所述资源分配结果,若是,则基于所述资源分配结果进行资源分配。
2.根据权利要求1所述的方法,其特征在于,所述基于锁定的数据表,确定是否执行所述资源分配结果,包括:
基于锁定的所述数据表、所述数据快照、以及所述资源分配请求携带的资源分配约束条件,确定是否执行所述资源分配结果。
3.根据权利要求2所述的方法,其特征在于,所述基于锁定的数据表、所述数据快照、以及所述资源分配请求携带的资源分配约束条件,确定是否执行所述资源分配结果,包括:
基于所述锁定的数据表中多个节点管理器对应的可分配的资源信息、以及所述数据快照中对应的多个节点管理器对应的可分配的资源信息,确定所述锁定的数据表中产生更新的第一更新资源信息;
基于所述第一更新资源信息、以及所述资源分配请求携带的资源分配约束条件,确定是否执行所述资源分配结果。
4.根据权利要求2所述的方法,其特征在于,所述基于锁定的数据表、所述数据快照、以及所述资源分配请求携带的资源分配约束条件,确定是否执行所述资源分配结果,包括:
确定与所述资源分配结果相关联的目标节点对应的目标节点管理器;
基于所述锁定的数据表中所述目标节点管理器对应的可分配的资源信息、以及所述数据快照中对应的所述目标节点管理器对应的可分配的资源信息,确定所述锁定的数据表中产生更新的第二更新资源信息;
基于所述第二更新资源信息、以及所述资源分配请求携带的资源分配约束条件,确定是否执行所述资源分配结果。
5.根据权利要求1所述的方法,其特征在于,所述基于锁定的数据表,确定是否执行所述资源分配结果,包括:
确定与所述资源分配结果相关联的目标节点对应的目标节点管理器;
在检测到所述锁定的数据表与所述数据快照中所述目标节点管理器对应的可分配的资源信息一致的情况下,执行所述资源分配结果。
6.根据权利要求1所述的方法,其特征在于,所述基于锁定的数据表,确定是否执行所述资源分配结果,包括:
确定与所述资源分配结果相关联的目标节点对应的目标节点管理器;
确定所述锁定的数据表中,所述目标节点管理器对应的可分配的资源信息是否满足所述资源分配请求携带的资源分配约束条件,若满足,则执行所述资源分配结果。
7.根据权利要求2所述的方法,其特征在于,所述资源分配约束条件包括第一约束条件集合和第二约束条件集合,第一约束条件为必须满足的条件,第二约束条件为选择性满足的条件;
所述基于锁定的数据表、所述数据快照、以及所述资源分配请求携带的资源分配约...
【专利技术属性】
技术研发人员:张帅,李亚坤,辛朝晖,师锐,
申请(专利权)人:北京字节跳动网络技术有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。