一种数据处理方法、装置、电子设备、计算机可读介质制造方法及图纸

技术编号:38570620 阅读:16 留言:0更新日期:2023-08-22 21:06
本申请公开了一种数据处理方法、装置、电子设备、计算机可读介质,该方法包括:在针对目标集群创建了弹性伸缩规则之后,先依据该弹性伸缩规则,配置该目标集群对应的缓存空间;再依据该目标集群的集群标识、以及该弹性伸缩规则中的负载类型规则项所携带的指标项标识,获取该负载类型规则项在补齐时间范围内的指标检测状态数据,并将该指标检测状态数据存储至该目标集群对应的缓存空间;随后,通过轮询的方式不断地获取该目标集群在轮询间隔期间所对应的指标检测更新结果,并依据该指标检测更新结果,对该目标集群对应的缓存空间中存储内容进行更新处理,如此能够借助一次补齐+不断轮询更新这一方式实现针对一个集群的弹性伸缩决策的目的。缩决策的目的。缩决策的目的。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备、计算机可读介质


[0001]本申请涉及计算机
,尤其涉及一种数据处理方法、装置、电子设备、计算机可读介质。

技术介绍

[0002]实际上,大数据计算在一些应用场景中所呈现的计算量不是一成不变的,而是存在比较明显的高峰与低谷的,如此使得用于执行大数据计算的集群,可能出现忙时计算资源不足以及闲时计算资源浪费的这一现象,故为了克服该现象所导致的不良影响,可以在某些时刻针对集群进行计算资源调整处理(也就是,针对集群进行计算资源方面的弹性伸缩处理)。
[0003]在一些技术方案中,可以依据一些预先设定的规则(比如,负载伸缩类型的规则等),确定何时对集群进行计算资源调整处理。
[0004]然而,因上述技术方案存在缺陷(比如,针对不同集群的不同指标项分别建立一套相应地轮询机制等),导致这些规则的判定耗时比较长,从而导致针对集群的计算资源调整性能不太好。

技术实现思路

[0005]为了解决上述问题,本申请提供了一种数据处理方法、装置、电子设备、计算机可读介质。
[0006]为了实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于集群管理设备,所述方法包括:在针对目标集群创建了弹性伸缩规则之后,依据所述弹性伸缩规则,配置所述目标集群对应的缓存空间;所述弹性伸缩规则包括负载类型规则项;依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识,获取所述负载类型规则项在补齐时间范围内的指标检测状态数据,并将所述指标检测状态数据存储至所述目标集群对应的缓存空间;所述补齐时间范围是根据所述负载类型规则项所携带的指标检测时间段和上一次轮询触发时间所确定的;判断是否达到轮询触发条件,若达到,则获取所述目标集群对应的指标检测更新结果,并依据所述目标集群对应的指标检测更新结果,对所述目标集群对应的缓存空间中存储内容进行更新处理;所述指标检测更新结果用于描述所述弹性伸缩规则在轮询间隔期间所呈现的指标检测状态更新情况;依据所述目标集群对应的缓存空间中存储内容,确定所述目标集群对应的弹性伸缩决策结果,并继续执行所述判断是否达到轮询触发条件的步骤。2.根据权利要求1所述的方法,其特征在于,在针对目标集群创建弹性伸缩规则之前,所述集群管理设备用于利用同一个轮询机制对至少一个待管理集群进行弹性伸缩决策处理;所述上一次轮询触发时间是指所述轮询机制下的上一个轮询过程的触发时刻;所述轮询触发条件是指预先针对所述轮询机制所设定的、用于触发一次轮询过程的条件。3.根据权利要求1所述的方法,其特征在于,所述依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识,获取所述负载类型规则项在补齐时间范围内的指标检测状态数据,包括:将所述目标集群的集群标识、所述负载类型规则项所携带的指标项标识以及所述补齐时间范围传入数据补齐接口,并调用所述数据补齐接口得到所述负载类型规则项在补齐时间范围内的指标检测状态数据;所述获取所述目标集群对应的指标检测更新结果,包括:调用轮询数据接口得到所述目标集群对应的指标检测更新结果。4.根据权利要求3所述的方法,其特征在于,所述集群管理设备用于对若干集群进行管理;所述若干集群包括所述目标集群;所述调用轮询数据接口得到所述目标集群对应的指标检测更新结果,包括:调用轮询数据接口得到所述若干集群对应的指标检测更新结果;所述依据所述目标集群对应的指标检测更新结果,对所述目标集群对应的缓存空间中存储内容进行更新处理,包括:依据各所述集群对应的指标检测更新结果,对各所述集群对应的缓存空间中存储内容进行更新处理;所述依据所述目标集群对应的缓存空间中存储内容,确定所述目标集群对应的弹性伸缩决策结果,包括:依据各所述集群对应的缓存空间中存储内容,确定各所述集群对应的弹性伸缩决策结果。
5.根据权利要求3所述的方法,其特征在于,所述将所述目标集群的集群标识、所述负载类型规则项所携带的指标项标识以及所述补齐时间范围传入数据补齐接口之前,所述方法还包括:从预设缓存区域读取所述轮询数据接口的上一次调用时间,作为所述上一次轮询触发时间;根据所述负载类型规则项所携带的时间段和所述上一次轮询触...

【专利技术属性】
技术研发人员:孙磊磊赵思颖罗旋
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1