分布式任务的分配优化方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术提供了一种分布式任务的分配优化方法及装置，其中，上述方法包括：根据分布式系统中每一节点的状态信息，在分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，第二节点集合中的每一节点为允许执行分布式系统中待分配任务的节点，第二节点集合中所包括的节点的数量小于或等于第一节点集合中所包括的节点的数量；确定当前待分配任务与第二节点集合中每一节点的关联程度参数，其中，关联程度参数用于指示当前待分配任务与第二节点集合中每一节点已接收到的任务的关联程度；将当前待分配任务分配至与第二节点集合中关联程度最高的目标节点执行。

Distributed task allocation optimization method and device, storage medium and electronic device

【技术实现步骤摘要】
分布式任务的分配优化方法和装置、存储介质及电子装置
本专利技术涉及计算机领域，具体而言，涉及一种分布式任务的分配优化方法和装置、存储介质及电子装置。
技术介绍
相关技术中，分布式系统的调度系统在进行节点调度时，主要通过负载均衡算法计算所有节点的资源负载情况，然后将负载利用率低的节点优先加入到调度队列中，并对加入到队列中的节点随机分配任务。相关技术中的节点分配方式，对于加入到调度队列中的节点，由于其负载利用率的不同，仍然存在执行任务效率的高低不等的问题，单纯地采用随机分配的方式，会存在任务执行效果的好坏之分，未能实现对分布式任务的分配优化的最优化。针对相关技术中，分布式系统的调度系统在进行节点调度时，由于节点的负载利用率的不同，仍然存在分布式任务的分配优化不合理等问题，尚未提出有效的技术方案。
技术实现思路
本专利技术实施例提供了一种分布式任务的分配优化方法及装置，以至少解决相关技术中，分布式系统的调度系统在进行节点调度时，由于节点的负载利用率的不同，仍然存在分布式任务的分配优化不合理等问题。根据本专利技术的一个实施例，提供了一种分布式任务的分配优化方法，包括：根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，所述第二节点集合中的每一节点为允许执行所述分布式系统中待分配任务的节点，所述第二节点集合中所包括的节点的数量小于或等于所述第一节点集合中所包括的节点的数量；确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数；所述关联程度参数用于指示所述当前待分配任务与所述第二节点集合中每一节点已接收到的任务的关联程度；将所述当前待分配分布式任务的分配优化至与所述第二节点集合中关联程度最高的目标节点执行。在本专利技术实施例中，所述分布式系统中每一节点的状态信息包括：未完成任务的数量，在第一预定时间段内的平均负载参数，以及未完成任务的预估完成时间；所述根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，包括：获取所述分布式系统中每一节点的状态信息；根据所述状态信息，确定所述分布式系统中每一节点的性能评估值；根据所述性能评估值，在所述分布式系统中的所述第一节点集合中确定所述第二节点集合。在本专利技术实施例中，所述根据所述性能评估值，在所述分布式系统中的所述第一节点集合中确定所述第二节点集合，包括：将所述分布式系统中的每一节点的性能评估值与预设阈值进行比较；将性能评估值小于所述预设阈值对应的节点所组成的集合确定为所述第二节点集合。在本专利技术实施例中，所述确定所述分布式系统中每一节点的性能评估值，包括：将所述未完成任务的数量进行归一化，得到归一化之后的未完成任务的数量；确定第一权重与所述归一化之后的未完成任务的数量的第一乘积、确定第二权重与所述平均负载参数的第二乘积，以及确定第三权重与所述预估完成时间的第三乘积；其中，所述第一权重大于所述第二权重，所述第二权重大于所述第三权重；将所述第一乘积、第二乘积与第三乘积之和确定为所述性能评估值。在本专利技术实施例中，所述确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数，包括：获取所述第二节点集合中每一节点的在第二预定时间内被分配任务的最大任务数量，将所述最大任务数量确定为第一任务数量，以及获取所述第二节点集合中每一节点在所述第二预定时间内被分配任务的任务数量的均值，将所述均值确定为第二任务数量，以及获取所述分布式系统中待分配任务集合所包括的任务数量，将所述待分配任务集合所包括的任务数量确定为第三任务数量；其中，所述待分配任务集合包括所述当前待分配任务；确定所述第三任务数量与所述第二任务数量的比值；确定所述比值与所述第一任务数量的之间的协方差值，将所述协方差值确定为所述关联程度参数。在本专利技术实施例中，将所述当前待分配任务分配至与所述第二节点集合中关联程度最高的目标节点执行，包括：根据所述关联程度参数的大小对所述第二节点集合中的每一节点按照第一预设顺序排列，得到经过所述第一预设顺序排列之后的目标节点集合；将所述目标节点集合中关联程度参数最大值对应的节点确定为所述目标节点；将所述当前待分配任务分配至所述目标节点执行。在本专利技术实施例中，将所述分布式系统中待分配任务集合中的每个待分配任务按照第二预设顺序在所述分布式系统中的任务池中排列，所述当前待分配任务为所述待分配任务集合中任意一个待分配任务，所述任务池用于在所述分布式系统中存放所述待分配任务集合。根据本专利技术的另一个实施例，还提供了一种分布式任务的分配优化装置，包括：第一确定模块，用于根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，所述第二节点集合中的每一节点为允许执行所述分布式系统中待分配任务的节点，所述第二节点集合中所包括的节点的数量小于或等于所述第一节点集合中所包括的节点的数量；第二确定模块，用于确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数，其中，所述关联程度参数用于指示所述当前待分配任务与所述第二节点集合中每一节点已接收到的任务的关联程度；分配模块，用于将所述当前待分配任务分配至与所述第二节点集合中关联程度最高的目标节点执行。根据本专利技术的另一个实施例，还提供了一种计算机可读的存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行以上任一项所述的分布式任务的分配优化方法。根据本专利技术的另一个实施例，还提供了一种电子装置，所述存储介质包括存储的程序，其中，所述程序运行时执行以上任一项所述的分布式任务的分配优化方法。通过本专利技术，根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，所述第二节点集合中的每一节点为允许执行所述分布式系统中待分配任务的节点，所述第二节点集合中所包括的节点的数量小于或等于所述第一节点集合中所包括的节点的数量；确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数；所述关联程度参数用于指示所述当前待分配任务与所述第二节点集合中每一节点已接收到的任务的关联程度；将所述当前待分配分布式任务的分配优化至与所述第二节点集合中关联程度最高的目标节点执行。采用上述技术方案，解决了相关技术中，分布式系统的调度系统在进行节点调度时，由于节点的负载利用率的不同，仍然存在分布式任务的分配优化不合理等问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的一种分布式任务的分配优化方法的硬件结构框图；图2是根据本专利技术实施例一种可选的分布式任务的分配优化方法的流程图；图3是根据本专利技术实施例另一种可选的分布式任务的分配优化方法的流程图；图4是根据本专利技术实施例的一种可选的分布式系统的示意图；图5是根据本专利技术实施本文档来自技高网...

【技术保护点】
1.一种分布式任务的分配优化方法，应用于分布式系统，其特征在于，包括：/n根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，所述第二节点集合中的每一节点为允许执行所述分布式系统中待分配任务的节点，所述第二节点集合中所包括的节点的数量小于或等于所述第一节点集合中所包括的节点的数量；/n确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数，其中，所述关联程度参数用于指示所述当前待分配任务与所述第二节点集合中每一节点已接收到的任务的关联程度；/n将所述当前待分配任务分配至与所述第二节点集合中关联程度最高的目标节点执行。/n

【技术特征摘要】
1.一种分布式任务的分配优化方法，应用于分布式系统，其特征在于，包括：
根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，所述第二节点集合中的每一节点为允许执行所述分布式系统中待分配任务的节点，所述第二节点集合中所包括的节点的数量小于或等于所述第一节点集合中所包括的节点的数量；
确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数，其中，所述关联程度参数用于指示所述当前待分配任务与所述第二节点集合中每一节点已接收到的任务的关联程度；
将所述当前待分配任务分配至与所述第二节点集合中关联程度最高的目标节点执行。


2.根据权利要求1所述的方法，其特征在于，所述分布式系统中每一节点的状态信息包括：未完成任务的数量，在第一预定时间段内的平均负载参数，以及未完成任务的预估完成时间；
所述根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，包括：
获取所述分布式系统中每一节点的状态信息；
根据所述状态信息，确定所述分布式系统中每一节点的性能评估值；
根据所述性能评估值，在所述分布式系统中的所述第一节点集合中确定所述第二节点集合。


3.根据权利要求2所述的方法，其特征在于，所述根据所述性能评估值，在所述分布式系统中的所述第一节点集合中确定所述第二节点集合，包括：
将所述分布式系统中的每一节点的性能评估值与预设阈值进行比较；
将性能评估值小于所述预设阈值对应的节点所组成的集合确定为所述第二节点集合。


4.根据权利要求2所述的方法，其特征在于，所述确定所述分布式系统中每一节点的性能评估值，包括：
将所述未完成任务的数量进行归一化，得到归一化之后的未完成任务的数量；
确定第一权重与所述归一化之后的未完成任务的数量的第一乘积、确定第二权重与所述平均负载参数的第二乘积，以及确定第三权重与所述预估完成时间的第三乘积；其中，所述第一权重大于所述第二权重，所述第二权重大于所述第三权重；
将所述第一乘积、第二乘积与第三乘积之和确定为所述性能评估值。


5.根据权利要求1所述的方法，其特征在于，所述确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数，包括：
获取所述第二节点集合中每一节点的在第二预定时间内被分配任务的最大任务数量，将所述最大任务数量确定为第一任务数量，...

【专利技术属性】
技术研发人员：尹德帅，徐志方，刘超，沈顺厚，王守峰，
申请(专利权)人：青岛海尔科技有限公司，
类型：发明
国别省市：山东;37