【技术实现步骤摘要】
集群任务分配的方法、装置及设备
[0001]本申请涉及数据处理
，尤其涉及一种集群任务分配的方法、装置及设备。
技术介绍
[0002]集群包括多个节点，节点可以为物理的计算单元如计算设备等，也可以为虚拟的计算单元或者计算进程，在对任务进行处理时，将任务分配给集群中各个节点进行处理。
[0003]云控系统可以对网联车辆、路侧感知设备的数据进行处理。在云控系统的融合、决策、规划等多种类型的计算任务通常是以集群计算方式进行；此时集群的节点为计算进程，为保证计算的实时性，运行于各集群的各计算进程实例通常都是有状态的。计算进程实例的有状态性具体表现为，为提高计算进程间实时数据交换效率跨进程的TCP连接，和为提高计算实时性各计算进程内设置的实时计算缓存等。计算进程的有状态特性使得计算任务在计算进程间发生迁移时有一定的时间代价，迁移完成前被迁移任务的计算会发生暂停。
[0004]当负载的动态变化所导致计算进程增加或减少时，和/或当待计算任务增多或减少时，和/或当IT故障及恢复导致计算进程的消亡或重启等。为了使得计算进程负载均衡，也就是尽量让各个计算进程处理的计算任务数相同或相差最小，需要对计算任务进行重新分配。在进行任务重新分配时，会导致导致计算任务在计算进程间发生迁移，迁移量越大，迁移代价也就越大，对集群计算的扰动也就越大。
[0005]因此，如何对任务进行重新分配，以使得在任务分配均衡的情况下造成的迁移代价较小，对集群计算的扰动较小，成为本领域技术人员亟需解决的问题。
技术实现思路
>[0006]本说明书实施例提供的一种集群任务分配的方法、装置及设备，来解决现有任务分配方法，导致的可用节点负载不均衡，迁移代价较大，对集群计算的扰动较大的问题。
[0007]为解决上述技术问题，本说明书实施例是这样实现的：
[0008]本说明书实施例提供的一种集群任务分配的方法，包括：
[0009]获取第一节点数量，所述第一节点数量用于表示集群中可用节点的总数量；
[0010]获取第一任务数量，所述第一任务数量用于表示需处理的任务的总数量；
[0011]根据所述第一节点数量和所述第一任务数量，确定所述任务的均衡分布状态，所述均衡分布状态为所述可用节点的任务数均不小于最小阈值且均不大于最大阈值的状态，所述最大阈值等于所述第一任务数量与所述第一节点数量的商向上取整的值，所述最小阈值等于所述第一任务数量与所述第一节点数量的商向下取整的值；
[0012]根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量；各个所述可用节点需变更的任务数量等于所述可用节点的已有任务数量与所述均衡分布状态表示的均衡数量的差值；
[0013]根据各个所述可用节点需变更的任务数量对所述可用节点进行任务分配，以便进行任务分配后的各个所述可用节点的任务数量符合所述均衡分布状态。
[0014]本说明书实施例提供的一种集群任务分配的装置，包括：
[0015]第一获取模块，用于获取第一节点数量，所述第一节点数量用于表示集群中可用节点的总数量；
[0016]第二获取模块，用于获取第一任务数量，所述第一任务数量用于表示需处理的任务的总数量；
[0017]第一确定模块，用于根据所述第一节点数量和所述第一任务数量，确定所述任务的均衡分布状态，所述均衡分布状态为所述可用节点的任务数均不小于最小阈值且均不大于最大阈值的状态，所述最大阈值等于所述第一任务数量与所述第一节点数量的商向上取整的值，所述最小阈值等于所述第一任务数量与所述第一节点数量的商向下取整的值；
[0018]第二确定模块，用于根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量；各个所述可用节点需变更的任务数量等于所述可用节点的已有任务数量与所述均衡分布状态表示的均衡数量的差值；
[0019]分配模块，用于根据各个所述可用节点需变更的任务数量对所述可用节点进行任务分配，以便进行任务分配后的各个所述可用节点的任务数量符合所述均衡分布状态。
[0020]本说明书实施例提供的一种集群任务分配的设备，包括：
[0021]至少一个处理器；以及，
[0022]与所述至少一个处理器通信连接的存储器；其中，
[0023]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0024]获取第一节点数量，所述第一节点数量用于表示集群中可用节点的总数量；
[0025]获取第一任务数量，所述第一任务数量用于表示需处理的任务的总数量；
[0026]根据所述第一节点数量和所述第一任务数量，确定所述任务的均衡分布状态，所述均衡分布状态为所述可用节点的任务数均不小于最小阈值且均不大于最大阈值的状态，所述最大阈值等于所述第一任务数量与所述第一节点数量的商向上取整的值，所述最小阈值等于所述第一任务数量与所述第一节点数量的商向下取整的值；
[0027]根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量；各个所述可用节点需变更的任务数量等于所述可用节点的已有任务数量与所述均衡分布状态表示的均衡数量的差值；
[0028]根据各个所述可用节点需变更的任务数量对所述可用节点进行任务分配，以便进行任务分配后的各个所述可用节点的任务数量符合所述均衡分布状态。
[0029]本说明书中提供的至少一个实施例能够实现以下有益效果：根据集群可用节点的数量和需处理的任务的数量，确定最大阈值和最小阈值，根据最大阈值和最小阈值确定均衡分布状态，根据各可用节点已有任务数量与均衡分布状态下的均衡数量的差值，确定各可用节点需变更的任务数量。可以保证，在任务分配完成后，集群中的各可用节点处理的任务数量相同或任务数量相差较小，可用节点的负载较为均衡，同时，可以保证相对于任务分配前，任务迁移数量较小，迁移的代价也就较小，对集群计算的扰动较小。
附图说明
[0030]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本说明书实施例提供的一种集群任务分配的方法的流程示意图；
[0032]图2为集群逐节点扩容时采用平均调整策略进行任务分配的任务迁移数量与可用节点的关系表；
[0033]图3为集群逐节点扩容时采用本专利技术的方法进行任务分配的任务迁移数量与可用节点的关系表；
[0034]图4为平均调整策略与本专利技术的方法的迁移数量对比图；
[0035]图5为本说明书实施例提供的一种集群任务分配的结果示意图；
[0036]图6为本说明书实施例提供的一种集群任务分配的结果示意图；
[0037]图7为本说明书实施例提供的一种集群任务分配的方法的流程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种集群任务分配的方法，其特征在于，包括：获取第一节点数量，所述第一节点数量用于表示集群中可用节点的总数量；获取第一任务数量，所述第一任务数量用于表示需处理的任务的总数量；根据所述第一节点数量和所述第一任务数量，确定所述任务的均衡分布状态，所述均衡分布状态为所述可用节点的任务数量均不小于最小阈值且均不大于最大阈值的状态，所述最大阈值等于所述第一任务数量与所述第一节点数量的商向上取整的值，所述最小阈值等于所述第一任务数量与所述第一节点数量的商向下取整的值；根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量；各个所述可用节点需变更的任务数量等于所述可用节点的已有任务数量与所述均衡分布状态表示的均衡数量的差值；根据各个所述可用节点需变更的任务数量对所述可用节点进行任务分配，以便进行任务分配后的各个所述可用节点的任务数量符合所述均衡分布状态。2.根据权利要求1所述的方法，其特征在于，已有任务数量不小于所述最大阈值的可用节点为第一类节点，已有任务数量小于所述最大阈值的可用节点为第二类节点；均衡分布状态下任务数量等于所述最大阈值的可用节点的数量为第一预设数量；当所述第一类节点的数量等于所述第一预设数量时，所述根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量，具体包括：将所述第一类节点需移出的任务数量确定为所述第一类节点的已有任务数量与所述最大阈值的差；将所述第二类节点需移入的任务数量确定为所述最小阈值与所述第二类节点的已有任务数量的差。3.根据权利要求1所述的方法，其特征在于，已有任务数量不小于所述最大阈值的可用节点为第一类节点，已有任务数量小于所述最大阈值的可用节点为第二类节点；均衡分布状态下任务数量等于所述最大阈值的可用节点的数量为第一预设数量；当所述第一类节点的数量大于所述第一预设数量时，所述根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量，具体包括：将所述第一类节点中所述第一预设数量个可用节点的需移出的任务数量确定为各个可用节点的已有任务数量与所述最大阈值的差；将所述第一类节点中除第一预设数量个可用节点之外的可用节点的需移出的任务数量确定为各个所述可用节点的已有任务数量与所述最小阈值的差将所述第二类节点需移入的任务数量确定为所述最小阈值与所述第二类节点的已有任务数量的差。4.根据权利要求1所述的方法，其特征在于，已有任务数量不小于所述最大阈值的可用节点为第一类节点，已有任务数量小于所述最大阈值的可用节点为第二类节点；均衡分布状态下任务数量等于所述最大阈值的可用节点的数量为第一预设数量；所述第一节点数量与所述第一预设数量的差为第二预设数量；当所述第一类节点的数量小于所述第一预设数量时，所述根据所述均衡分布状态，确定各个所述可用节点需变更的任务数量，具体包括：将所述第一类节点需移出的任务数量确定为所述第一类节点的已有任务数量与所述最大阈值的差；
将所述第二类节点中所述第二预设数量个可用节点需移入的任务数量确定为所述最小阈值与各个所述可用节点的已有任务数量的差；将所述第二类节点中除所述第二预设数量之外的可用节点需移入的任务数量确定为所述最大阈值与各个可用节点的已有任务数量的差。5.根据权利要求4所述的方法，其特征在于，所述第二类节点中已有任务数量等于所述最小阈值的可用节点为第三类节点，已有任务数量小于所述最小阈值的可用节点为第四类节点；所述第二类节点中所述第二预设数量个可用节点的选取方法具体包括：先从所述第三类节点选取可用节点，当所述第三类节点中的可用节点数量不足所述第二预设数量时，再从所述第四类节点中选取可用节点，直至选取所述第二预设数量个可用节点为止；或者，所述第二类节点中所述第二预设数量个可用节点的选取方法具体包括：先从所述第四类节点选取可用节点，当所述第四类节点中的可用节点数量不足所述第二预设数量时，再从所述第三类节点中选取可用节点，直至选取所述第二预设数量个可用节点为止。6.根据权利要求4所述的方法，其特征在于，所述可用节点中有一个为leader节点；所述leader节点的已有任务数量小于所述最大阈值；所述第二类节点中所述第二预设数量个可用节点的选取方法，具体包括...
【专利技术属性】
技术研发人员：郎睿，
申请(专利权)人：云控智行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。