分布式任务处理方法及系统、处理器技术方案

本发明专利技术实施例提供一种分布式任务处理方法及系统、处理器，本地处理器在获取待处理任务之后，确定自身需要处理的第一类任务数量；若第一类任务数量满足预设条件，则将待处理任务发送至存储器，以供分布式处理集群中除本地处理器外的其他处理器从存储器获取待处理任务并处理。通过判断第一类任务数量在满足预设条件的情况下，将待处理任务发送至存储器供其他处理器获取并处理，可以保证自身任务量的同时，减弱分布式处理集群中任务分配不均衡的程度。同时，既可以降低本地处理器的处理压力，还可以缩短待处理任务的处理时间，提高待处理任务的处理效率。而且，处理器在处理任务时，仅仅依赖于外部的存储器，完全可以做到开箱即用。完全可以做到开箱即用。完全可以做到开箱即用。

【技术实现步骤摘要】
分布式任务处理方法及系统、处理器


[0001]本专利技术涉及计算机软件
，尤其涉及一种分布式任务处理方法及系统、处理器。

技术介绍

[0002]目前，对于包含有多个处理器的分布式处理集群来说，当需要该分布式处理集群处理某个任务时，该任务通常会被直接转发至某一处理器，由该处理器完成对该任务的处理。
[0003]这种情况下，极容易出现某一处理器需要处理的任务过多而分布式处理集群中其他处理器需要处理的任务过少，进而可能会使任务过多的处理器中任务的处理时间延长，降低任务的处理效率。而且，处理器在处理任务时，通常基于离线计算框架或流计算框架实现，对外部的依赖较重，无法做到开箱即用。

技术实现思路

[0004]本专利技术实施例提供一种分布式任务处理方法及系统、处理器，用以解决现有技术中存在的缺陷。
[0005]本专利技术实施例提供一种分布式任务处理方法，包括：
[0006]在获取待处理任务之后，确定本地处理器需要处理的第一类任务数量；
[0007]若所述第一类任务数量满足预设条件，则将所述待处理任务发送至存储器进行存储，以供分布式处理集群中除所述本地处理器外的其他处理器从所述存储器获取所述待处理任务并处理；
[0008]所述预设条件基于所述第一类任务数量与所述分布式处理集群中除本地处理器外的其他处理器需要处理的第二任务数量之间的差值确定。
[0009]根据本专利技术一个实施例的分布式任务处理方法，所述将所述待处理任务发送至存储器进行存储，之前还包括：
[0010]确定所述分布式处理集群中除所述本地处理器外每一其他处理器需要处理的第二类任务数量；
[0011]计算所述第一类任务数量与每一第二类任务数量之间的差值比率；
[0012]对于任一其他处理器，若所述任一其他处理器对应的差值比率大于预设阈值，则判断所述第一类任务数量满足所述预设条件。
[0013]根据本专利技术一个实施例的分布式任务处理方法，所述确定所述分布式处理集群中除所述本地处理器外每一其他处理器需要处理的第二类任务数量，具体包括：
[0014]获取所述存储器中存储的集群任务信息；所述集群任务信息由所述分布式处理集群中每一处理器上报至所述存储器；
[0015]基于所述集群任务信息，确定每一第二类任务数量。
[0016]根据本专利技术一个实施例的分布式任务处理方法，所述计算所述第一类任务数量与
每一第二类任务数量之间的差值比率，具体包括：
[0017]对于每一第二类任务数量，计算所述第一类任务数量与所述第二类任务数量之间的差值，并计算所述差值与所述第一类任务数量的比值，得到所述差值比率。
[0018]根据本专利技术一个实施例的分布式任务处理方法，还包括：
[0019]实时确定本地处理器需要处理的第三类任务数量；
[0020]若所述第三类任务数量不满足预设条件，则轮询所述存储器，并从所述存储器中获取待处理任务；
[0021]对从所述存储器中获取的待处理任务进行处理。
[0022]根据本专利技术一个实施例的分布式任务处理方法，还包括：
[0023]若所述第一类任务数量不满足所述预设条件，则对所述待处理任务进行处理。
[0024]本专利技术实施例还提供一种处理器，包括：本地线程池以及任务协调器。其中，
[0025]本地线程池用于在获取待处理任务之后，确定所述处理器需要处理的第一类任务数量；
[0026]任务协调器用于若所述第一类任务数量满足预设条件，则将所述待处理任务发送至存储器进行存储，以供分布式处理集群中除所述处理器外的其他处理器从所述存储器获取所述待处理任务并处理；
[0027]所述预设条件基于所述第一类任务数量与所述分布式处理集群中除本地处理器外的其他处理器需要处理的第二任务数量之间的差值确定。
[0028]本专利技术实施例还提供一种分布式任务处理系统，所述分布式任务处理系统为分布式处理集群，包括：存储器以及多个上述实施例所述的处理器。
[0029]本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述分布式任务处理方法的步骤。
[0030]本专利技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述分布式任务处理方法的步骤。
[0031]本专利技术实施例提供的分布式任务处理方法及系统、处理器，本地处理器在获取待处理任务之后，确定自身需要处理的第一类任务数量；若第一类任务数量满足预设条件，则将待处理任务发送至存储器，以供分布式处理集群中除本地处理器外的其他处理器从存储器获取待处理任务并处理。通过判断第一类任务数量在满足预设条件的情况下，将待处理任务发送至存储器供其他处理器获取并处理，可以保证自身任务量的同时，减弱分布式处理集群中任务分配不均衡的程度。同时，既可以降低本地处理器的处理压力，还可以缩短待处理任务的处理时间，提高待处理任务的处理效率。而且，处理器在处理任务时，仅仅依赖于外部的存储器，完全可以做到开箱即用，解除了外部依赖过度的限制。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术实施例提供的一种分布式任务处理方法的流程示意图；
[0034]图2是本专利技术实施例提供的一种处理器的结构示意图；
[0035]图3是本专利技术实施例提供的一种处理器的结构示意图；
[0036]图4是本专利技术实施例提供的一种分布式任务处理系统的结构示意图；
[0037]图5是本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0038]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]由于现有技术中，对于包含有多个处理器的分布式处理集群来说，当需要该分布式处理集群处理某个任务时，该任务通常会被直接转发至某一处理器，由该处理器完成对该任务的处理。由此极容易出现某一处理器需要处理的任务过多而分布式处理集群中其他处理器需要处理的任务过少，导致分布式处理集群内任务分布不均，资源无法得到充分利用，同时也会使任务过多的处理器中任务的处理时间延长，降低任务的处理效率。而且，处理器在处理任务时，通常基于离线计算框架或流计算框架实现，对外部的依赖较重，无法做到开箱即用。为此，本专利技术实施例中提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式任务处理方法，其特征在于，包括：在获取待处理任务之后，确定本地处理器需要处理的第一类任务数量；若所述第一类任务数量满足预设条件，则将所述待处理任务发送至存储器进行存储，以供分布式处理集群中除所述本地处理器外的其他处理器从所述存储器获取所述待处理任务并处理；所述预设条件基于所述第一类任务数量与所述分布式处理集群中除本地处理器外的其他处理器需要处理的第二任务数量之间的差值确定。2.根据权利要求1所述的分布式任务处理方法，其特征在于，所述将所述待处理任务发送至存储器进行存储，之前还包括：确定所述分布式处理集群中除所述本地处理器外每一其他处理器需要处理的第二类任务数量；计算所述第一类任务数量与每一第二类任务数量之间的差值比率；对于任一其他处理器，若所述任一其他处理器对应的差值比率大于预设阈值，则判断所述第一类任务数量满足所述预设条件。3.根据权利要求2所述的分布式任务处理方法，其特征在于，所述确定所述分布式处理集群中除所述本地处理器外每一其他处理器需要处理的第二类任务数量，具体包括：获取所述存储器中存储的集群任务信息；所述集群任务信息由所述分布式处理集群中每一处理器上报至所述存储器；基于所述集群任务信息，确定每一第二类任务数量。4.根据权利要求2所述的分布式任务处理方法，其特征在于，所述计算所述第一类任务数量与每一第二类任务数量之间的差值比率，具体包括：对于每一第二类任务数量，计算所述第一类任务数量与所述第二类任务数量之间的差值，并计算所述差值与所述第一类任务数量的比值，得到所述差值比率。5.根...

【专利技术属性】
技术研发人员：李雪峰，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：