System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 容器化ClickHouse Pod的分配方法及装置制造方法及图纸_技高网

容器化ClickHouse Pod的分配方法及装置制造方法及图纸

技术编号:40027775 阅读:16 留言:0更新日期:2024-01-16 17:45
本申请提供一种容器化ClickHouse Pod的分配方法及装置。包括:获取目标ClickHouse Pod的分配请求,并根据分配请求,基于预设的亲和性或反亲和性算法,确定分配上述Pod的第一节点集合。基于预设的资源限制和请求算法,根据Pod的需求资源量,从第一节点集合中确定分配Pod的第二节点集合,并根据第二节点集合中每个节点的总资源量,确定每个节点当前的剩余资源量。对第二节点中每个节点当前的剩余资源量进行排序,将剩余资源量最大值对应的节点,确定为分配Pod的目标节点。本申请使得确定的目标节点更适用于该目标ClickHouse Pod,提高了节点资源的利用率,降低了资源的浪费。

【技术实现步骤摘要】

本申请涉及云计算,尤其涉及一种容器化clickhouse pod的分配方法及装置。


技术介绍

1、随着互联网技术的飞速发展,对数据的存储和处理要求也越来越高,因此,clickhouse作为一种高性能、分布式的关系型数据库得到了广泛的应用。

2、现有技术中,在对待分配的容器化clickhouse pod进行节点分配时,通常是根据轮询算法、就近分配算法或者随机分配算法等,在多个节点中确定出分配该待分配的容器化clickhouse pod的目标节点,在该目标节点上创建该容器化clickhouse pod。

3、但是现有技术分配容器化clickhouse pod的方式,使得节点间的资源利用不够均衡,容易造成节点资源的浪费。


技术实现思路

1、本申请提供一种容器化clickhouse pod的分配方法及装置,用以解决现有技术分配容器化clickhouse pod的方式,使得节点间的资源利用不够均衡,容易造成节点资源的浪费的技术问题。

2、第一方面,本申请提供一种容器化clickhouse pod的分配方法,包括:

3、获取目标clickhouse pod的分配请求;

4、根据所述分配请求,基于预设的亲和性或反亲和性算法,确定分配所述目标clickhouse pod的第一节点集合;

5、基于预设的资源限制和请求算法,根据所述目标clickhouse pod的需求资源量,从所述第一节点集合中确定分配所述目标clickhouse pod的第二节点集合;

6、根据所述第二节点集合中每个节点的总资源量,确定每个节点当前的剩余资源量;

7、对所述第二节点中每个节点当前的剩余资源量进行排序,得到排序结果;

8、将所述排序结果中剩余资源量最大值对应的节点,确定为分配所述目标clickhouse pod的目标节点。

9、可选地,如上所述的方法,

10、所述根据所述分配请求,基于预设的亲和性或反亲和性算法,确定分配所述目标clickhouse pod的第一节点集合,包括:

11、获取所述分配请求中所述目标clickhouse pod的标签信息;

12、根据预设的亲和性或者反亲和性算法,确定与所述标签信息存在亲和性的节点;

13、将所述存在亲和性的节点,确定为分配所述目标clickhouse pod的第一节点集合。

14、可选地,如上所述的方法,所述基于预设的资源限制和请求算法,根据所述目标clickhouse pod的需求资源量,从所述第一节点集合中确定分配所述目标clickhouse pod的第二节点集合,包括:

15、获取所述第一节点集合中每个节点的总资源量;

16、基于预设的资源限制和请求算法,判断每个节点的总资源量是否大于或等于所述目标clickhouse pod的需求资源量;

17、将所述第一节点集合中总资源量大于或等于所述目标clickhouse pod的需求资源量的节点,确定为分配所述目标clickhouse pod的节点,得到所述第二节点集合。

18、可选地,如上所述的方法,所述根据所述第二节点集合中每个节点的总资源量,确定每个节点当前的剩余资源量,包括:

19、获取所述第二节点集合中每个节点当前的已使用资源量、当前已分配clickhousepod所需资源量;

20、对于所述第二节点集合中的任一节点,将所述节点的总资源量减去当前的已使用资源量以及当前已分配clickhouse pod所需资源量,得到所述节点当前的剩余资源量。

21、可选地,如上所述的方法,所述剩余资源量包括cpu剩余资源量、存储剩余资源量、计算剩余资源量、网络剩余资源量;

22、相应的,所述对所述第二节点中每个节点当前的剩余资源量进行排序,得到排序结果,包括:

23、分别获取所述第二节点中每个节点的所述cpu剩余资源量、所述存储剩余资源量、所述计算剩余资源量以及所述网络剩余资源量各自预设的权重系数;

24、根据每个节点的所述cpu剩余资源量、所述存储剩余资源量、所述计算剩余资源量、所述网络剩余资源量以及各自预设的权重系数,进行加权计算,得到加权后每个节点当前的剩余资源量;

25、基于预设的排序算法,对加权后每个节点当前的剩余资源量进行大小关系排序,得到排序结果。

26、可选地,如上所述的方法,所述确定为分配所述目标clickhouse pod的目标节点之后,还包括:

27、在所述目标节点上创建所述目标clickhouse pod;

28、将所述目标clickhouse pod的需求资源量记录在所述目标节点上。

29、可选地,如上所述的方法,若在所述目标节点上未创建成功所述目标clickhousepod,则基于预设的重试机制,将所述排序结果中剩余资源量次最大值对应的节点,确定为分配所述目标clickhouse pod的目标节点。

30、第二方面,本申请提供一种容器化clickhouse pod的分配装置,包括:

31、获取模块,用于获取目标clickhouse pod的分配请求;

32、确定模块,用于根据所述分配请求,基于预设的亲和性或反亲和性算法,确定分配所述目标clickhouse pod的第一节点集合;

33、所述确定模块,还用于基于预设的资源限制和请求算法,根据所述目标clickhouse pod的需求资源量,从所述第一节点集合中确定分配所述目标clickhouse pod的第二节点集合;

34、所述确定模块,还用于根据所述第二节点集合中每个节点的总资源量,确定每个节点当前的剩余资源量;

35、排序模块,用于对所述第二节点中每个节点当前的剩余资源量进行排序,得到排序结果;

36、处理模块,用于将所述排序结果中剩余资源量最大值对应的节点,确定为分配所述目标clickhouse pod的目标节点。

37、第三方面,本申请提供一种电子设备,包括:至少一个处理器、存储器;

38、所述存储器存储计算机执行指令;

39、所述至少一个处理器执行所述存储器存储的计算机执行指令来执行第一方面任一项所述的容器化clickhouse pod的分配方法。

40、第四方面,本申请实施例提供一种可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的容器化clickhouse pod的分配方法。

41、本申请提供的容器化clickhouse pod的分配方法及装置,通过获取目标clickhouse pod的分配请求,并根据分配请求,基于预设的亲和性或反亲和性算法,确定分配目标clickhouse pod的第一节点集合。基本文档来自技高网...

【技术保护点】

1.一种容器化ClickHouse Pod的分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述分配请求,基于预设的亲和性或反亲和性算法,确定分配所述目标ClickHouse Pod的第一节点集合,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于预设的资源限制和请求算法,根据所述目标ClickHouse Pod的需求资源量,从所述第一节点集合中确定分配所述目标ClickHouse Pod的第二节点集合,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述第二节点集合中每个节点的总资源量,确定每个节点当前的剩余资源量,包括:

5.根据权利要求4所述的方法,其特征在于,所述剩余资源量包括CPU剩余资源量、存储剩余资源量、计算剩余资源量、网络剩余资源量;

6.根据权利要求1-5任一项所述的方法,其特征在于,所述确定为分配所述目标ClickHouse Pod的目标节点之后,还包括:

7.根据权利要求6所述的方法,其特征在于,若在所述目标节点上未创建成功所述目标ClickHouse Pod,则基于预设的重试机制,将所述排序结果中剩余资源量次最大值对应的节点,确定为分配所述目标ClickHouse Pod的目标节点。

8.一种容器化ClickHouse Pod的分配装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的容器化ClickHouse Pod的分配方法。

...

【技术特征摘要】

1.一种容器化clickhouse pod的分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述分配请求,基于预设的亲和性或反亲和性算法,确定分配所述目标clickhouse pod的第一节点集合,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于预设的资源限制和请求算法,根据所述目标clickhouse pod的需求资源量,从所述第一节点集合中确定分配所述目标clickhouse pod的第二节点集合,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述第二节点集合中每个节点的总资源量,确定每个节点当前的剩余资源量,包括:

5.根据权利要求4所述的方法,其特征在于,所述剩余资源量包括cpu剩余资源量、存储剩余资源量、计算剩余资源量、网络剩余资源量;

...

【专利技术属性】
技术研发人员:亓浩
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1