System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 资源管理方法、装置、存储介质及电子设备制造方法及图纸_技高网

资源管理方法、装置、存储介质及电子设备制造方法及图纸

技术编号:40545749 阅读:9 留言:0更新日期:2024-03-05 19:03
本发明专利技术提供一种资源管理方法、装置、存储介质及电子设备,其中,该方法包括:接收缩容指令;若缩容指令携带有容器化节点退出数量,则确定待选容器化节点集,并确定待选容器化节点集中各个待选容器化节点的节点指示信息,以从待选容器化节点集中,选取出数量为容器化节点退出数量的容器化节点,以得到待退出容器化节点集;分别将待退出容器化节点集中的各个待退出容器化节点设置为禁止任务分配状态,并分别在各个待退出容器化节点满足容器化节点关闭条件时,关闭各个待退出容器化节点,以退出各个待退出容器化节点。本发明专利技术实施例可在降低对任务的影响的情况下,实现资源管理,以实现集群的优雅缩容,从而可保持集群的稳定性。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种资源管理方法、装置、存储介质及电子设备


技术介绍

1、目前,大数据集群已广泛应用于各种场景,如数据查询场景和数据分析场景等;一个大数据集群可包括主节点(coordinator,也可称为协调器节点)和工作节点(worker)(如容器化节点和物理节点);其中,协调器节点负责接收用户的查询请求,并将查询任务分发给工作节点,还负责管理查询的执行过程、元数据管理以及向用户返回结果等;相应的,工作节点是执行任务的实际计算单元。在需对集群进行资源管理以退出容器化节点时,相关技术通常直接停止指定容器化节点中的容器,以退出指定容器化节点,导致任务异常。基于此,如何在降低对任务的影响的情况下,实现资源管理,以保持集群的稳定性尚未提出较好的解决方案。


技术实现思路

1、有鉴于此,本专利技术实施例提供了一种资源管理方法、装置、存储介质及电子设备,以解决相关技术退出指定容器化节点,导致任务异常的问题;也就是说,本专利技术实施例可在降低对任务的影响的情况下,实现资源管理,以实现集群的优雅缩容,从而保持集群的稳定性。

2、根据本专利技术的一方面,提供了一种资源管理方法,所述方法包括:

3、接收缩容指令,所述缩容指令携带有容器化节点退出数量和/或容器化节点退出指示标识,一个容器化节点中支持运行至少一个容器,一个容器支持用于执行至少一个任务;

4、若所述缩容指令携带有所述容器化节点退出数量,则确定待选容器化节点集,并确定所述待选容器化节点集中各个待选容器化节点的节点指示信息;

5、基于所述各个待选容器化节点的节点指示信息,从所述待选容器化节点集中,选取出数量为所述容器化节点退出数量的容器化节点,以得到待退出容器化节点集,所述待退出容器化节点集包括选取出的容器化节点;其中,所述选取出的容器化节点中每个容器化节点的节点指示信息,均小于或等于所述待选取容器化节点集中除所述选取出的容器化节点以外的每个容器化节点的节点指示信息;

6、分别将所述待退出容器化节点集中的各个待退出容器化节点设置为禁止任务分配状态,并分别在所述各个待退出容器化节点满足容器化节点关闭条件时,关闭所述各个待退出容器化节点,以退出所述各个待退出容器化节点;其中,所述禁止任务分配状态用于防止新任务被分配到所述各个待退出容器化节点上。

7、根据本专利技术的另一方面,提供了一种资源管理装置,所述装置包括:

8、接收单元,用于接收缩容指令,所述缩容指令携带有容器化节点退出数量和/或容器化节点退出指示标识,一个容器化节点中支持运行至少一个容器,一个容器支持用于执行至少一个任务;

9、处理单元,用于若所述缩容指令携带有所述容器化节点退出数量,则确定待选容器化节点集,并确定所述待选容器化节点集中各个待选容器化节点的节点指示信息;

10、所述处理单元,还用于基于所述各个待选容器化节点的节点指示信息,从所述待选容器化节点集中,选取出数量为所述容器化节点退出数量的容器化节点,以得到待退出容器化节点集,所述待退出容器化节点集包括选取出的容器化节点;其中,所述选取出的容器化节点中每个容器化节点的节点指示信息,均小于或等于所述待选取容器化节点集中除所述选取出的容器化节点以外的每个容器化节点的节点指示信息;

11、所述处理单元,还用于分别将所述待退出容器化节点集中的各个待退出容器化节点设置为禁止任务分配状态,并分别在所述各个待退出容器化节点满足容器化节点关闭条件时,关闭所述各个待退出容器化节点,以退出所述各个待退出容器化节点;其中,所述禁止任务分配状态用于防止新任务被分配到所述各个待退出容器化节点上。

12、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括处理器、以及存储程序的存储器,其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述所提及的方法。

13、根据本专利技术的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行上述所提及的方法。

14、本专利技术实施例可接收缩容指令,缩容指令携带有容器化节点退出数量和/或容器化节点退出指示标识,一个容器化节点中支持运行至少一个容器,一个容器支持用于执行至少一个任务;若缩容指令携带有容器化节点退出数量,则确定待选容器化节点集,并确定待选容器化节点集中各个待选容器化节点的节点指示信息。那么相应的,可基于各个待选容器化节点的节点指示信息,从待选容器化节点集中,选取出数量为容器化节点退出数量的容器化节点,以得到待退出容器化节点集,待退出容器化节点集包括选取出的容器化节点;其中,选取出的容器化节点中每个容器化节点的节点指示信息,均小于或等于待选取容器化节点集中除选取出的容器化节点以外的每个容器化节点的节点指示信息,从而可选取出更加适合退出的容器化节点。进一步的,可分别将待退出容器化节点集中的各个待退出容器化节点设置为禁止任务分配状态,并分别在各个待退出容器化节点满足容器化节点关闭条件时,关闭各个待退出容器化节点,以退出各个待退出容器化节点;其中,禁止任务分配状态用于防止新任务被分配到各个待退出容器化节点上,从而可实现节点的平稳过渡。可见,本专利技术实施例可在降低对任务的影响的情况下,实现资源管理,以实现集群的优雅缩容,从而可保持集群的稳定性。

本文档来自技高网...

【技术保护点】

1.一种资源管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述待选容器化节点集中各个待选容器化节点的节点指示信息,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1或2所述的方法,其特征在于,所述退出所述各个待退出容器化节点,包括:

6.根据权利要求1或2所述的方法,其特征在于,一个容器化节点为Presto集群中的一个工作节点,所述Presto集群是通过Kubernetes环境实现的,且一个容器化节点为所述Presto集群中的一个部署单元。

7.根据权利要求6所述的方法,其特征在于,所述Presto集群中的工作节点包括M个物理节点和N个容器化节点,M和N均为非负整数;

8.一种资源管理装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括:

10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种资源管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述待选容器化节点集中各个待选容器化节点的节点指示信息,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1或2所述的方法,其特征在于,所述退出所述各个待退出容器化节点,包括:

6.根据权利要求1或2所述的方法,其特征在于,一个容器化节点为presto集群中的一个工...

【专利技术属性】
技术研发人员:冯龙江昕赵辉冯春锋周晓辉
申请(专利权)人:度小满科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1