一种数据处理方法、装置、电子设备、计算机可读介质制造方法及图纸

本申请公开了一种数据处理方法、装置、电子设备、计算机可读介质，该方法包括：在针对目标集群创建了弹性伸缩规则之后，先依据该弹性伸缩规则，配置该目标集群对应的缓存空间；再依据该目标集群的集群标识、以及该弹性伸缩规则中的负载类型规则项所携带的指标项标识，获取该负载类型规则项在补齐时间范围内的指标检测状态数据，并将该指标检测状态数据存储至该目标集群对应的缓存空间；随后，通过轮询的方式不断地获取该目标集群在轮询间隔期间所对应的指标检测更新结果，并依据该指标检测更新结果，对该目标集群对应的缓存空间中存储内容进行更新处理，如此能够借助一次补齐+不断轮询更新这一方式实现针对一个集群的弹性伸缩决策的目的。缩决策的目的。缩决策的目的。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备、计算机可读介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备、计算机可读介质。

技术介绍

[0002]实际上，大数据计算在一些应用场景中所呈现的计算量不是一成不变的，而是存在比较明显的高峰与低谷的，如此使得用于执行大数据计算的集群，可能出现忙时计算资源不足以及闲时计算资源浪费的这一现象，故为了克服该现象所导致的不良影响，可以在某些时刻针对集群进行计算资源调整处理(也就是，针对集群进行计算资源方面的弹性伸缩处理)。
[0003]在一些技术方案中，可以依据一些预先设定的规则(比如，负载伸缩类型的规则等)，确定何时对集群进行计算资源调整处理。
[0004]然而，因上述技术方案存在缺陷(比如，针对不同集群的不同指标项分别建立一套相应地轮询机制等)，导致这些规则的判定耗时比较长，从而导致针对集群的计算资源调整性能不太好。

技术实现思路

[0005]为了解决上述问题，本申请提供了一种数据处理方法、装置、电子设备、计算机可读介质。
[0006]为了实现上述目的，本申请提供的技术方案如下：
[0007]本申请提供一种数据处理方法，应用于集群管理设备，所述方法包括：
[0008]在针对目标集群创建了弹性伸缩规则之后，依据所述弹性伸缩规则，配置所述目标集群对应的缓存空间；所述弹性伸缩规则包括负载类型规则项；
[0009]依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识，获取所述负载类型规则项在补齐时间范围内的指标检测状态数据，并将所述指标检测状态数据存储至所述目标集群对应的缓存空间；所述补齐时间范围是根据所述负载类型规则项所携带的指标检测时间段和上一次轮询触发时间所确定的；
[0010]判断是否达到轮询触发条件，若达到，则获取所述目标集群对应的指标检测更新结果，并依据所述目标集群对应的指标检测更新结果，对所述目标集群对应的缓存空间中存储内容进行更新处理；所述指标检测更新结果用于描述所述弹性伸缩规则在轮询间隔期间所呈现的指标检测状态更新情况；
[0011]依据所述目标集群对应的缓存空间中存储内容，确定所述目标集群对应的弹性伸缩决策结果，并继续执行所述判断是否达到轮询触发条件的步骤。
[0012]在一种可能的实施方式下，在针对目标集群创建弹性伸缩规则之前，所述集群管理设备用于利用同一个轮询机制对至少一个待管理集群进行弹性伸缩决策处理；
[0013]所述上一次轮询触发时间是指所述轮询机制下的上一个轮询过程的触发时刻；
[0014]所述轮询触发条件是指预先针对所述轮询机制所设定的、用于触发一次轮询过程的条件。
[0015]在一种可能的实施方式下，所述依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识，获取所述负载类型规则项在补齐时间范围内的指标检测状态数据，包括：
[0016]将所述目标集群的集群标识、所述负载类型规则项所携带的指标项标识以及所述补齐时间范围传入数据补齐接口，并调用所述数据补齐接口得到所述负载类型规则项在补齐时间范围内的指标检测状态数据；
[0017]所述获取所述目标集群对应的指标检测更新结果，包括：
[0018]调用轮询数据接口得到所述目标集群对应的指标检测更新结果。
[0019]在一种可能的实施方式下，所述集群管理设备用于对若干集群进行管理；所述若干集群包括所述目标集群；
[0020]所述调用轮询数据接口得到所述目标集群对应的指标检测更新结果，包括：
[0021]调用轮询数据接口得到所述若干集群对应的指标检测更新结果；
[0022]所述依据所述目标集群对应的指标检测更新结果，对所述目标集群对应的缓存空间中存储内容进行更新处理，包括：
[0023]依据各所述集群对应的指标检测更新结果，对各所述集群对应的缓存空间中存储内容进行更新处理；
[0024]所述依据所述目标集群对应的缓存空间中存储内容，确定所述目标集群对应的弹性伸缩决策结果，包括：
[0025]依据各所述集群对应的缓存空间中存储内容，确定各所述集群对应的弹性伸缩决策结果。
[0026]在一种可能的实施方式下，所述将所述目标集群的集群标识、所述负载类型规则项所携带的指标项标识以及所述补齐时间范围传入数据补齐接口之前，所述方法还包括：
[0027]从预设缓存区域读取所述轮询数据接口的上一次调用时间，作为所述上一次轮询触发时间；
[0028]根据所述负载类型规则项所携带的时间段和所述上一次轮询触发时间，确定所述补齐时间范围。
[0029]在一种可能的实施方式下，所述方法还包括：
[0030]利用所述轮询数据接口的当前次调用时间，更新预设缓存区域中所存储的数据。
[0031]在一种可能的实施方式下，所述依据针对目标集群所创建的弹性伸缩规则，配置所述目标集群对应的缓存空间，包括：
[0032]对所述弹性伸缩规则进行解析处理，得到规则树；所述弹性伸缩规则包括若干规则表达对象；所述若干规则表达对象包括负载类型规则项；所述规则树包括各所述规则表达对象对应的节点；
[0033]依据所述规则树，配置所述目标集群对应的缓存空间，所述缓存空间包括各所述规则表达对象对应的缓存区域。
[0034]在一种可能的实施方式下，所述目标集群对应的缓存空间包括所述负载类型规则项对应的缓存区域；
[0035]所述将所述指标检测状态数据存储至所述目标集群对应的缓存空间，包括：
[0036]将所述指标检测状态数据存储至所述负载类型规则项对应的缓存区域。
[0037]在一种可能的实施方式下，所述弹性伸缩规则还包括时间类型规则项；
[0038]所述方法还包括：
[0039]判断当前次轮询触发时间是否位于所述时间类型规则项所表征的时间范围内，得到判断结果；
[0040]所述依据所述目标集群对应的缓存空间中存储内容，确定所述目标集群对应的弹性伸缩决策结果，包括：
[0041]依据所述判断结果以及所述目标集群对应的缓存空间中的存储内容，确定所述目标集群对应的弹性伸缩决策结果。
[0042]本申请提供了一种数据处理装置，包括：
[0043]缓存配置单元，用于在针对目标集群创建了弹性伸缩规则之后，依据所述弹性伸缩规则，配置所述目标集群对应的缓存空间；所述弹性伸缩规则包括负载类型规则项；
[0044]数据补齐单元，用于依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识，获取所述负载类型规则项在补齐时间范围内的指标检测状态数据，并将所述指标检测状态数据存储至所述目标集群对应的缓存空间；所述补齐时间范围是根据所述负载类型规则项所携带的指标检测时间段和上一次轮询触发时间所确定的；
[0045]轮询更新单元，用于判断是否达到轮询触发条件，若达到，则获取所述目标集群对应的指标检测更新结果，并依据所述目标集群对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于集群管理设备，所述方法包括：在针对目标集群创建了弹性伸缩规则之后，依据所述弹性伸缩规则，配置所述目标集群对应的缓存空间；所述弹性伸缩规则包括负载类型规则项；依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识，获取所述负载类型规则项在补齐时间范围内的指标检测状态数据，并将所述指标检测状态数据存储至所述目标集群对应的缓存空间；所述补齐时间范围是根据所述负载类型规则项所携带的指标检测时间段和上一次轮询触发时间所确定的；判断是否达到轮询触发条件，若达到，则获取所述目标集群对应的指标检测更新结果，并依据所述目标集群对应的指标检测更新结果，对所述目标集群对应的缓存空间中存储内容进行更新处理；所述指标检测更新结果用于描述所述弹性伸缩规则在轮询间隔期间所呈现的指标检测状态更新情况；依据所述目标集群对应的缓存空间中存储内容，确定所述目标集群对应的弹性伸缩决策结果，并继续执行所述判断是否达到轮询触发条件的步骤。2.根据权利要求1所述的方法，其特征在于，在针对目标集群创建弹性伸缩规则之前，所述集群管理设备用于利用同一个轮询机制对至少一个待管理集群进行弹性伸缩决策处理；所述上一次轮询触发时间是指所述轮询机制下的上一个轮询过程的触发时刻；所述轮询触发条件是指预先针对所述轮询机制所设定的、用于触发一次轮询过程的条件。3.根据权利要求1所述的方法，其特征在于，所述依据所述目标集群的集群标识以及所述负载类型规则项所携带的指标项标识，获取所述负载类型规则项在补齐时间范围内的指标检测状态数据，包括：将所述目标集群的集群标识、所述负载类型规则项所携带的指标项标识以及所述补齐时间范围传入数据补齐接口，并调用所述数据补齐接口得到所述负载类型规则项在补齐时间范围内的指标检测状态数据；所述获取所述目标集群对应的指标检测更新结果，包括：调用轮询数据接口得到所述目标集群对应的指标检测更新结果。4.根据权利要求3所述的方法，其特征在于，所述集群管理设备用于对若干集群进行管理；所述若干集群包括所述目标集群；所述调用轮询数据接口得到所述目标集群对应的指标检测更新结果，包括：调用轮询数据接口得到所述若干集群对应的指标检测更新结果；所述依据所述目标集群对应的指标检测更新结果，对所述目标集群对应的缓存空间中存储内容进行更新处理，包括：依据各所述集群对应的指标检测更新结果，对各所述集群对应的缓存空间中存储内容进行更新处理；所述依据所述目标集群对应的缓存空间中存储内容，确定所述目标集群对应的弹性伸缩决策结果，包括：依据各所述集群对应的缓存空间中存储内容，确定各所述集群对应的弹性伸缩决策结果。
5.根据权利要求3所述的方法，其特征在于，所述将所述目标集群的集群标识、所述负载类型规则项所携带的指标项标识以及所述补齐时间范围传入数据补齐接口之前，所述方法还包括：从预设缓存区域读取所述轮询数据接口的上一次调用时间，作为所述上一次轮询触发时间；根据所述负载类型规则项所携带的时间段和所述上一次轮询触...

【专利技术属性】
技术研发人员：孙磊磊，赵思颖，罗旋，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：