处理任务的方法、装置、介质及电子设备制造方法及图纸

本发明专利技术实施例提供了一种处理任务的方法、装置、介质及电子设备，该处理任务的方法包括：将待处理任务划分为多个执行单元；将所述多个执行单元发送至其它处理节点；确定向各个处理节点分配的需要处理的执行单元的信息；将所述各个处理节点需要处理的执行单元的信息发送至注册中心，以便所述各个处理节点从所述注册中心获取各自需要处理的执行单元的信息，并根据需要处理的执行单元的信息对相应的执行单元进行处理。本发明专利技术实施例的技术方案可以自动实现对待处理任务的划分，同时能够提高分布式计算的效率及处理性能。

【技术实现步骤摘要】
处理任务的方法、装置、介质及电子设备
本专利技术涉及计算机
，具体而言，涉及一种处理任务的方法、装置、介质及电子设备。
技术介绍
分布式调度在互联网企业中占据着十分重要的作用，尤其是电子商务领域，由于存在数据量大、高并发的特点，对数据的处理既要保证高效性，也要保证准确性和安全性，因此相对比较耗时的业务逻辑往往会从中剥离开来进行异步处理。相关技术中提出的分布式系统框架或多或少都存在问题，比如TBSchedule(一种支持分布式调度的框架)和ElasticJob(一种分布式调度框架)需要用户自行对数据进行取模等分片动作，由于机器性能各有差异，执行速度也各有差异，因此可能会出现某单条数据执行慢造成整个分片执行慢，进而导致整个节点执行慢的问题。同时，对于用户来说，TBSchedule和ElasticJob在使用上并不方便，需要用户设计良好的分片策略才能有效执行。此外，由于分片全部在内存中进行，因此在作业任务过大或者并行作业过多的情况下容易引起分片节点的内存溢出，影响系统的处理性能。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术实施例的目的在于提供一种处理任务的方法、装置、介质及电子设备，进而至少在一定程度上解决分布式计算效率低、性能不高的问题。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术实施例的第一方面，提供了一种处理任务的方法，包括：将待处理任务划分为多个执行单元；将所述多个执行单元发送至其它处理节点；确定向各个处理节点分配的需要处理的执行单元的信息；将所述各个处理节点需要处理的执行单元的信息发送至注册中心，以便所述各个处理节点从所述注册中心获取各自需要处理的执行单元的信息，并根据需要处理的执行单元的信息对相应的执行单元进行处理。在本专利技术的一些实施例中，基于前述方案，在将待处理任务划分为多个执行单元之前，还包括：向所述注册中心发送选举主处理节点的请求；其中，若接收到所述注册中心发送的作为主处理节点的反馈信息，则执行将所述待处理任务划分为多个执行单元的步骤。在本专利技术的一些实施例中，基于前述方案，所述的处理任务的方法还包括：若接收到所述注册中心发送的作为从处理节点的反馈信息，则接收主处理节点发送的所述多个执行单元，并从所述注册中心获取需要处理的执行单元的信息。在本专利技术的一些实施例中，基于前述方案，从所述注册中心获取需要处理的执行单元的信息，包括：对所述注册中心进行监听，以获取到需要处理的执行单元的信息。在本专利技术的一些实施例中，基于前述方案，将待处理任务划分为多个执行单元，包括：按照每个执行单元包含的数据量，将所述待处理任务划分为多个执行单元。在本专利技术的一些实施例中，基于前述方案，确定向各个处理节点分配的需要处理的执行单元的信息，包括：根据所述各个处理节点的处理能力，确定向所述各个处理节点分配的需要处理的执行单元的信息。在本专利技术的一些实施例中，基于前述方案，根据需要处理的执行单元的信息对相应的执行单元进行处理，包括：根据需要处理的执行单元的信息，从所述多个执行单元中加载需要处理的执行单元进行处理。在本专利技术的一些实施例中，基于前述方案，所述的处理任务的方法还包括：将对需要处理的执行单元的处理结果发送至所述注册中心。在本专利技术的一些实施例中，基于前述方案，所述的处理任务的方法还包括：在需要处理任一任务时，确定所述任一任务是否存在具有依赖关系的父任务；若所述任一任务不存在所述父任务，则在接收到触发指令时开始处理所述任一任务；若所述任一任务存在所述父任务，则在所述父任务处理完成之后再开始处理所述任一任务。在本专利技术的一些实施例中，基于前述方案，若所述任一任务存在所述父任务，则所述方法还包括：若所述父任务的处理时长超过预定时长后还未处理完成，则结束所述父任务的处理，并确定所述父任务处理完成。根据本专利技术实施例的第二方面，提供了一种处理任务的装置，包括：划分单元，用于将待处理任务划分为多个执行单元；第一发送单元，用于将所述多个执行单元发送至其它处理节点；确定单元，用于确定向各个处理节点分配的需要处理的执行单元的信息；第二发送单元，用于将所述各个处理节点需要处理的执行单元的信息发送至注册中心，以便所述各个处理节点从所述注册中心获取各自需要处理的执行单元的信息，并根据需要处理的执行单元的信息对相应的执行单元进行处理。根据本专利技术实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的处理任务的方法。根据本专利技术实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的处理任务的方法。本专利技术实施例提供的技术方案可以包括以下有益效果：在本专利技术的一些实施例所提供的技术方案中，(主处理节点)通过将待处理任务划分为多个执行单元，使得能够自动以预定的处理粒度来对待处理任务进行划分，无需用户进行分片操作；通过将多个执行单元发送至其它处理节点，使得各个处理节点都能够获取到该多个执行单元，进而在获取到需要处理的执行单元的信息时能够直接加载相应的执行单元进行处理；通过确定向各个处理节点分配的执行单元的信息，并将各个处理节点需要处理的执行单元的信息发送至注册中心，使得各个处理节点能够从注册中心获取到各自需要处理的执行单元的信息，以根据需要处理的执行单元的信息对相应的执行单元进行处理。可见，本专利技术实施例中提出的处理任务的方法可以自动实现对待处理任务的划分，同时使得各个处理节点能够根据各自需要处理的执行单元的信息仅加载需要处理的执行单元进行处理，无需将所有执行单元都加载至内存中，尽可能避免了在任务过大或并行作业过多而导致内存溢出的问题，进而能够提高分布式计算的效率及处理性能。在本专利技术的一些实施例所提供的技术方案中，通过根据各个处理节点的处理能力确定向各个处理节点分配的需要处理的执行单元的信息，使得向各个处理节点分配的执行单元能够与各个处理节点的处理能力相匹配，有利于提高待处理任务的处理效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出了根据本专利技术的一个实施例的处理任务的方法的流程图；图2示意性示出了根据本专利技术的另一个实施例的处理任务的方法的流程图；图3示意性示出了根据本专利技术的一个实施例的分布式计算系统的结构图；图4示出了根据本专利技术的一个实施例的任务树的结构示意图；图5示意性示出了根据本专利技术的一个实施例的帧异构的流程图；图6示出了根据本专利技术的一个实施例的对一个任务进行帧异构处理之后得到的各个帧的示意图；图7示意性示出了根据本专利技术的一个实施例的帧文件的结构图；图8示出了根据本本文档来自技高网...

【技术保护点】
1.一种处理任务的方法，其特征在于，包括：将待处理任务划分为多个执行单元；将所述多个执行单元发送至其它处理节点；确定向各个处理节点分配的需要处理的执行单元的信息；将所述各个处理节点需要处理的执行单元的信息发送至注册中心，以便所述各个处理节点从所述注册中心获取各自需要处理的执行单元的信息，并根据需要处理的执行单元的信息对相应的执行单元进行处理。

【技术特征摘要】
1.一种处理任务的方法，其特征在于，包括：将待处理任务划分为多个执行单元；将所述多个执行单元发送至其它处理节点；确定向各个处理节点分配的需要处理的执行单元的信息；将所述各个处理节点需要处理的执行单元的信息发送至注册中心，以便所述各个处理节点从所述注册中心获取各自需要处理的执行单元的信息，并根据需要处理的执行单元的信息对相应的执行单元进行处理。2.根据权利要求1所述的处理任务的方法，其特征在于，在将待处理任务划分为多个执行单元之前，还包括：向所述注册中心发送选举主处理节点的请求；其中，若接收到所述注册中心发送的作为主处理节点的反馈信息，则执行将所述待处理任务划分为多个执行单元的步骤。3.根据权利要求2所述的处理任务的方法，其特征在于，还包括：若接收到所述注册中心发送的作为从处理节点的反馈信息，则接收主处理节点发送的所述多个执行单元，并从所述注册中心获取需要处理的执行单元的信息。4.根据权利要求3所述的处理任务的方法，其特征在于，从所述注册中心获取需要处理的执行单元的信息，包括：对所述注册中心进行监听，以获取到需要处理的执行单元的信息。5.根据权利要求1所述的处理任务的方法，其特征在于，将待处理任务划分为多个执行单元，包括：按照每个执行单元包含的数据量，将所述待处理任务划分为多个执行单元。6.根据权利要求1所述的处理任务的方法，其特征在于，确定向各个处理节点分配的需要处理的执行单元的信息，包括：根据所述各个处理节点的处理能力，确定向所述各个处理节点分配的需要处理的执行单元的信息。7.根据权利要求1所述的处理任务的方法，其特征在于，根据需要处理的执行单元的信息对相应的执行单元进行处理，包括：根据需要处理的执行单...

【专利技术属性】
技术研发人员：胡蓉，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11