缩容处理方法、计算集群系统、电子设备和可读存储介质技术方案

本申请公开了缩容处理方法、计算集群系统、电子设备和可读存储介质，该方法包括：获取待下线的计算节点；标记所述待下线的计算节点中每个计算节点上运行的算子为待转移算子；其中，所述算子用于在所述计算节点上对计算任务进行分布式计算；针对所述待下线的计算节点中属于同一计算任务下的所有被标记的算子，触发转移，所述转移中对于同一个计算任务至少有一次转移了多个算子；在所述待下线的计算节点中的算子均转移到所述其他计算节点之后，对所述待下线的计算节点进行下线。通过本申请解决了现有技术中分布式计算进行缩容需要下线计算节点时，造成计算任务多次中断所导致影响计算任务处理效率的问题，进而减少了缩容过程中的转移次数，提高了计算任务的处理效率。提高了计算任务的处理效率。提高了计算任务的处理效率。

【技术实现步骤摘要】
缩容处理方法、计算集群系统、电子设备和可读存储介质


[0001]本申请涉及到分布式计算领域，具体而言，涉及缩容处理方法、计算集群系统、电子设备和可读存储介质。

技术介绍

[0002]随着技术的发展，一项计算任务对计算资源的需求也越来越大，并且有些计算任务对实时性要求也比较高，在这种情况下，使用单一的计算节点来运行一项计算任务将无法满足需求。为了解决这个问题，在现有技术中引入了分布式计算。
[0003]所谓的分布式计算是一种计算方法，是和集中式计算是相对的。分布式计算将该计算任务分解成许多小的部分，分配给多台计算节点进行处理，这样可以节约整体计算时间，大大提高计算效率。
[0004]在进行分布式计算时，会涉及到计算节点的缩容，例如，计算节点数据太多提供了富余的计算能力，此时可以将计算节点进行缩容。在分布式计算中，每个计算节点均运行了计算任务的一部分，在进行缩容时需要将该分布式节点运行的任务转移到其他计算节点上，然后将该计算节点下线即可。每下线一个计算节点，就会发生一次任务故障转移，这会造成该计算任务的中断。由于分布式计算的计算任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缩容处理方法，包括：获取待下线的计算节点，其中，所述计算节点应用于分布式的流式计算；标记所述待下线的计算节点中每个计算节点上运行的算子为待转移算子；其中，所述算子用于在所述计算节点上对计算任务进行分布式计算；针对所述待下线的计算节点中属于同一计算任务下被标记的所有算子，触发转移，其中，所述转移用于将所述计算任务下的算子转移到除所述待下线的计算节点之外的其他计算节点，所述转移中对于同一个计算任务至少有一次转移了多个算子；在所述待下线的计算节点中的算子均转移到所述其他计算节点之后，对所述待下线的计算节点进行下线。2.根据权利要求1所述的方法，其中，针对属于同一计算任务下的被标记的所有算子触发转移包括：针对属于同一计算任务下的被标记的所有算子触发一次转移，其中，所述一次转移将所述计算任务下的所有算子均转移到所述其他节点；或者，将属于同一计算任务下的被标记的所有算子进行分组，对于每个分组分别触发一次转移，其中，每个分组下所有算子一次转移到所述其他节点，所述分组中至少有一个分组包括了多个算子。3.根据权利要求1所述的方法，其中，获取所述待下线的计算节点包括：获取用户输入的需要下线的计算节点的名称，将所述计算节点的名称对应的计算节点作为所述待下线的计算节点；和/或，获取所述用户输入的要求或者需要下线的计算节点的数量，根据所述要求或所述需要下线的计算节点的数量确定所述待下线的计算节点；其中，所述要求用于指示需要释放的计算资源的数量，确定好的所述待下线的计算节点占用的计算资源的数量之和满足所述要求。4.根据权利要求1所述的方法，其中，在获取所述待下线的计算节点之后，所述方法还包括：将所述待下线的计算节点标记为禁止调度，其中，新建的算子不会被调度到被标记为禁止调度的计算节点。5.根据权利要求4所述的方法，其中，针对所述待下线的计算节点中属于同一计算任务下的所有...

【专利技术属性】
技术研发人员：欧阳武林，王华，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：