分布式任务批量处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种分布式任务批量处理方法、装置、设备及存储介质，其中，该分布式任务批量处理方法包括：采用批量计算插件将批处理任务进行横向拆分，生成携带任务复杂度的多个分片平行任务；将分片平行任务逐一分配给节点算力列表中的每一系统计算节点，被指派分片平行任务的任一系统计算节点作为目标执行节点分析其所分配的待执行分片平行任务；当待执行分片平行任务的任务复杂度大于一时，目标执行节点将待执行分片平行任务作为批处理任务，重复执行获取批处理任务的步骤，直至每一待执行分片平行任务的任务复杂度等于一。该方法通过可扩展的批量的系统计算节点灵活分配计算节点数量，有效提升批量处理性能和处理效率。有效提升批量处理性能和处理效率。有效提升批量处理性能和处理效率。

【技术实现步骤摘要】
分布式任务批量处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种分布式任务批量处理方法、装置、设备及存储介质。

技术介绍

[0002]在现代商业应用中，面对复杂的业务以及海量的数据，除了通过庞杂的人机交互界面进行各种处理外，还有一类工作，不需要人工干预，只需要定期读入大批量数据，然后完成相应业务处理并进行归档。有大批量的业务数据需要应用程序去批量计算处理，而通过单机模式去执行会耗费很长的处理时间，也不能充分发挥业务集群中每个应用节点算力。通过一些常见的分布式批处理方案，可以采用业务集群中所有业务应用节点协同完成一个大批量数据处理的任务，从而提升整体的处理速度。
[0003]当前存在很多任务处理引擎，能够支持集中式或并发执行，可以有效地处理指定时间内或者指定规则下需要执行的任务，提供了单机器单实例或者多机器多实例调度任务模型，解决了任务多次触发和并行执行的问题，但多任务实例因批量任务单线程或者多线程处理容易引发负载不均衡、任务中大批量数据处理的时效性差、多任务实例排队等待等，无法满足业务要求的时效性。

技术实现思路

[0004]本专利技术实施例提供一种分布式任务批量处理方法、装置、设备及存储介质，以解决多任务实例因批量任务单线程或者多线程处理容易引发负载不均衡、任务中大批量数据处理的时效性差、多任务实例排队等待等，无法满足业务要求的时效性的问题。
[0005]一种分布式任务批量处理方法，包括：任一系统计算节点作为任务初始节点获取批处理任务，采用批量计算插件将批处理任务进行横向拆分，生成携带任务复杂度的多个分片平行任务；将分片平行任务逐一分配给节点算力列表中的每一系统计算节点，被指派分片平行任务的任一系统计算节点作为目标执行节点分析其所分配的待执行分片平行任务；若待执行分片平行任务的任务复杂度大于一，则目标执行节点将待执行分片平行任务作为批处理任务，用于重复执行获取批处理任务的步骤，直至每一待执行分片平行任务的任务复杂度等于一成为可执行节点任务；目标执行节点执行可执行节点任务，获取分片任务执行结果并返回，以使任务初始节点对所有分片任务执行结果进行合成，从而完成批处理任务。
[0006]一种分布式任务批量处理装置，包括：平行任务生成模块，用于任一系统计算节点作为任务初始节点获取批处理任务，采用批量计算插件将批处理任务进行横向拆分，生成携带任务复杂度的多个分片平行任务；平行任务分析模块，用于将分片平行任务逐一分配给节点算力列表中的每一系统
计算节点，被指派分片平行任务的任一系统计算节点作为目标执行节点分析其所分配的待执行分片平行任务；批处理任务重复执行模块，用于若待执行分片平行任务的任务复杂度大于一，则目标执行节点将待执行分片平行任务作为批处理任务，用于重复执行获取批处理任务的步骤，直至每一待执行分片平行任务的任务复杂度等于一成为可执行节点任务；批处理任务完成模块，用于目标执行节点执行可执行节点任务，获取分片任务执行结果并返回，以使任务初始节点对所有分片任务执行结果进行合成，从而完成批处理任务。
[0007]在一些实施例中，分布式任务批量处理装置，还用于采用批量计算插件将批处理任务进行横向拆分，记录生成的分片平行任务的任务拆分个数和每一分片平行任务的任务复杂度；若任务拆分个数小于n，则继续提取任务复杂度最高的分片平行任务作为补充拆分任务进行任务拆分，并更新补充拆分任务的任务复杂度；当任务拆分个数为n时，停止拆分，从而生成携带任务复杂度的多个分片平行任务。
[0008]在一些实施例中，分布式任务批量处理装置，还用于将分片任务执行结果按节点指派路径的反向路径进行返回。
[0009]在一些实施例中，分布式任务批量处理装置，还用于基于目标分片平行任务对应的任务复杂度，给目标分片平行任务设定任务返回时间阈值；若被指派目标分片平行任务的目标执行节点在任务返回时间阈值内未返回目标分片平行任务对应的分片任务执行结果，则停止目标执行节点执行目标分片平行任务；将目标分片平行任务避开目标执行节点进行重新指派。
[0010]在一些实施例中，分布式任务批量处理装置，还用于基于节点算力从大到小进行排序的节点算力列表，将分片平行任务按任务复杂度大小逐一分配给节点算力列表中的每一系统计算节点。
[0011]在一些实施例中，分布式任务批量处理装置，还用于实时扫描每一系统计算节点的节点可用线程数；按节点可用线程数的大小顺序实时调整节点算力列表中的每一系统计算节点的排序。
[0012]在一些实施例中，分布式任务批量处理装置，还用于任一系统当前节点获取后续的系统计算节点发送的退网指令，所述退网指令包括执行中任务；所述系统当前节点将所述执行中任务进行重新指派。
[0013]一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式任务批量处理方法。
[0014]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式任务批量处理方法。
[0015]上述分布式任务批量处理方法、装置、设备及存储介质，通过采用批量计算插件将批处理任务进行横向拆分，生成携带任务复杂度的多个分片平行任务；将分片平行任务逐一分配给节点算力列表中的每一系统计算节点，被指派分片平行任务的任一系统计算节点作为目标执行节点分析其所分配的待执行分片平行任务；当待执行分片平行任务的任务复杂度大于一时，目标执行节点将待执行分片平行任务作为批处理任务，重复执行获取批处
理任务的步骤，直至每一待执行分片平行任务的任务复杂度等于一成为可执行节点任务；目标执行节点执行可执行节点任务，获取分片任务执行结果并返回，从而完成批处理任务。该方法可通过可扩展的批量的系统计算节点灵活分配计算节点数量，有效提升批量处理性能和处理效率，减少批处理等待时间，充分高效地应用批处理任务系统。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1绘示本专利技术一实施例中分布式任务批量处理方法的应用环境示意图；图2绘示本专利技术第一实施例中分布式任务批量处理方法的第一流程图；图3绘示本专利技术第二实施例中分布式任务批量处理方法的第二流程图；图4绘示本专利技术提供的分布式任务批量处理方法中运用分布式任务批量处理系统计算所有存款账户利息的时序图；图5绘示本专利技术一实施例中分布式任务批量处理装置的示意图；图6绘示本专利技术一实施例中电子设备的示意图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式任务批量处理方法，其特征在于，包括：任一系统计算节点作为任务初始节点获取批处理任务，采用批量计算插件将所述批处理任务进行横向拆分，生成携带任务复杂度的多个分片平行任务；将所述分片平行任务逐一分配给节点算力列表中的每一系统计算节点，被指派分片平行任务的任一所述系统计算节点作为目标执行节点分析其所分配的待执行分片平行任务；若所述待执行分片平行任务的任务复杂度大于一，则所述目标执行节点将所述待执行分片平行任务作为批处理任务，用于重复执行所述获取批处理任务的步骤，直至每一待执行分片平行任务的任务复杂度等于一成为可执行节点任务；所述目标执行节点执行所述可执行节点任务，获取分片任务执行结果并返回，以使所述任务初始节点对所有所述分片任务执行结果进行合成，从而完成所述批处理任务。2.根据权利要求1所述的分布式任务批量处理方法，其特征在于，在所述采用批量计算插件将所述批处理任务进行横向拆分之前，还包括：获取与当前计算节点关联的系统计算节点的关联节点个数n；所述采用批量计算插件将所述批处理任务进行横向拆分，生成携带任务复杂度的多个分片平行任务，包括：采用所述批量计算插件将所述批处理任务进行横向拆分，记录生成的分片平行任务的任务拆分个数和每一所述分片平行任务的任务复杂度；若所述任务拆分个数小于n，则继续提取所述任务复杂度最高的分片平行任务作为补充拆分任务进行任务拆分，并更新所述补充拆分任务的任务复杂度；当所述任务拆分个数为n时，停止拆分，从而生成携带任务复杂度的多个分片平行任务。3.根据权利要求1所述的分布式任务批量处理方法，其特征在于，所述可执行节点任务包括节点指派路径；所述获取分片任务执行结果并返回，包括：将所述分片任务执行结果按所述节点指派路径的反向路径进行返回。4.根据权利要求1所述的分布式任务批量处理方法，其特征在于，在所述将所述分片平行任务逐一分配给节点算力列表中的每一系统计算节点之后，还包括：基于目标分片平行任务对应的任务复杂度，给所述目标分片平行任务设定任务返回时间阈值；若被指派所述目标分片平行任务的目标执行节点在所述任务返回时间阈值内未返回所述目标分片平行任务对应的分片任务执行结果，则停止所述目标执行节点执行所述目标分片平行任务；将所述目标分片平行任务避开所述目标执行节点进行重...

【专利技术属性】
技术研发人员：陈新，
申请(专利权)人：北京沐融信息科技股份有限公司，
类型：发明
国别省市：