System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式作业的负载均衡方法、电子设备及存储介质技术_技高网

一种分布式作业的负载均衡方法、电子设备及存储介质技术

技术编号:41238364 阅读:2 留言:0更新日期:2024-05-09 23:51
本发明专利技术公开了一种分布式作业的负载均衡方法、电子设备及存储介质。其中,该分布式作业的负载均衡方法,应用于元数据服务节点,包括:确定触发器以及所述触发器的默认执行节点满足预设条件,获取全部的执行节点的资源使用情况;根据所述资源使用情况确定全部的所述执行节点中的目标执行节点,并在预设全局触发器执行链表中建立所述触发器与所述目标执行节点的动态分发信息;按照所述动态分发信息发送所述触发器的触发器标识至所述目标执行节点,以使所述目标执行节点执行所述触发器对应的作业任务。本发明专利技术实施例,实现对触发器的执行节点的动态分发,防止执行节点负载不均衡导致的作业执行时间长的问题,提升作业任务的执行效率。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种分布式作业的负载均衡方法、电子设备及存储介质


技术介绍

1、分布式计算集群(distributed processing cluster,dpc)由计划生成节点(sqlprocessor,sp)、数据存储节点(backend processor,bp)和元数据服务器节点(metadataprocessor,mp)三部分组成。其中,sp接收客户端请求,并生成执行计划;bp负责存储用户数据,执行sp的调度指令并将执行结果返回给sp;mp负责存储元数据并向sp、bp提供元数据服务。

2、在dpc系统中,创建作业时可以指定执行节点(执行节点可以是所有sp节点中的任意一个),执行该作业时会在指定的执行节点上执行;如果不指定执行节点,则选择可用的节点号最小的sp节点执行。如果作业指定了执行节点,则作业一旦创建完成,将始终在固定节点上执行,在作业数量较多的情况下,某些节点服务器资源使用可能较大,从而出现负载不均衡、作业执行时间较长的问题。如果不指定执行节点,则节点号较小的sp节点上将执行较多的作业,同样也会出现负载不均衡、作业执行时间较长的问题。故,如何对执行节点进行负载均衡成为了目前亟待解决的问题。


技术实现思路

1、本专利技术提供了一种分布式作业的负载均衡方法、电子设备及存储介质,以解决执行节点负载不均衡、作业执行时间较长的问题。

2、根据本专利技术的一方面,提供了一种分布式作业的负载均衡方法,其中,应用于元数据服务节点,包括:p>

3、确定触发器以及所述触发器的默认执行节点满足预设条件,获取全部的执行节点的资源使用情况;

4、根据所述资源使用情况确定全部的所述执行节点中的目标执行节点,并在预设全局触发器执行链表中建立所述触发器与所述目标执行节点的动态分发信息;

5、按照所述动态分发信息发送所述触发器的触发器标识至所述目标执行节点,以使所述目标执行节点执行所述触发器对应的作业任务。

6、根据本专利技术的另一方面,提供了一种分布式作业的负载均衡方法,其中,应用于目标执行节点,包括:

7、接收元数据服务节点发送的触发器标识,并将所述触发器标识添加至预设本地触发器执行链表;

8、按照所述预设本地触发器执行链表中的所述触发器标识的排列顺序执行所述触发器对应的作业任务。

9、根据本专利技术的另一方面,提供了一种分布式作业的负载均衡装置,其中,应用于元数据服务节点,包括:

10、情况获取模块,用于确定触发器以及所述触发器的默认执行节点满足预设条件,获取全部的执行节点的资源使用情况;

11、信息生成模块,用于根据所述资源使用情况确定全部的所述执行节点中的目标执行节点,并在预设全局触发器执行链表中建立所述触发器与所述目标执行节点的动态分发信息;

12、作业分发模块,用于按照所述动态分发信息发送所述触发器的触发器标识至所述目标执行节点,以使所述目标执行节点执行所述触发器对应的作业任务。

13、根据本专利技术的另一方面,提供了一种分布式作业的负载均衡装置,其中,应用于目标执行节点,包括:

14、标识接收模块,用于接收元数据服务节点发送的触发器标识,并将所述触发器标识添加至预设本地触发器执行链表;

15、作业执行模块,用于按照所述预设本地触发器执行链表中的所述触发器标识的排列顺序执行所述触发器对应的作业任务。

16、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:

17、至少一个处理器;以及

18、与所述至少一个处理器通信连接的存储器;其中,

19、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的分布式作业的负载均衡方法。

20、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的分布式作业的负载均衡方法。

21、本专利技术实施例的技术方案,通过确定触发器以及触发器的默认执行节点满足预设条件,获取全部的执行节点的资源使用情况,再根据资源使用情况确定全部的执行节点中的目标执行节点,并在预设全局触发器执行链表中建立触发器与目标执行节点的动态分发信息,按照动态分发信息发送触发器的触发器标识至目标执行节点,以使目标执行节点执行触发器对应的作业任务,实现对触发器的执行节点的动态分发,防止执行节点负载不均衡导致的作业执行时间长的问题,提升作业任务的执行效率,提升用户的使用体验。

22、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种分布式作业的负载均衡方法,其特征在于,应用于元数据服务节点,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定触发器以及所述触发器的默认执行节点满足预设条件,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述资源使用情况确定全部的所述执行节点中的目标执行节点,并在预设全局触发器执行链表中建立所述触发器与所述目标执行节点的动态分发信息,包括:

4.根据权利要求1所述的方法,其特征在于,所述按照所述动态分发信息发送所述触发器的触发器标识至所述目标执行节点,以使所述目标执行节点执行所述触发器对应的作业任务,包括:

5.根据权利要求1所述的方法,其特征在于,在所述按照所述动态分发信息发送所述触发器的触发器标识至所述目标执行节点之后,还包括:

6.根据权利要求1所述的方法,其特征在于,所述分布式作业的负载均衡方法,还包括:

7.一种分布式作业的负载均衡方法,其特征在于,应用于目标执行节点,包括:

8.根据权利要求7所述的方法,其特征在于,所述分布式作业的负载均衡方法,还包括:p>

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6或者权利要求7-8中任一项所述的分布式作业的负载均衡方法。

...

【技术特征摘要】

1.一种分布式作业的负载均衡方法,其特征在于,应用于元数据服务节点,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定触发器以及所述触发器的默认执行节点满足预设条件,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述资源使用情况确定全部的所述执行节点中的目标执行节点,并在预设全局触发器执行链表中建立所述触发器与所述目标执行节点的动态分发信息,包括:

4.根据权利要求1所述的方法,其特征在于,所述按照所述动态分发信息发送所述触发器的触发器标识至所述目标执行节点,以使所述目标执行节点执行所述触发器对应的作业任务,包括:

5.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:冯源梁扬雷琪
申请(专利权)人:武汉达梦数据库股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1