一种对批量作业进行分组处理的方法及装置制造方法及图纸

本发明专利技术公开了一种对批量作业进行分组处理的方法及装置，基于待处理的批量任务中的各个作业的依赖关系，对批量任务中的各个作业进行分组，得到初始作业组；基于初始作业组中的每一作业组的执行耗时以及初始作业组的执行总耗时，对初始作业组中的作业进行调整，得到目标作业组，基于与目标作业组匹配的目标执行顺序，依次对目标作业组中的各个作业进行处理，得到批量任务的处理结果。本发明专利技术在利用路径依赖关系分组的同时，基于作业执行耗时对分组中的各个作业进行了调整，使得最终确定的执行路径能够缩短批量任务的整体耗时，提升了批量任务的处理效率。量任务的处理效率。量任务的处理效率。

【技术实现步骤摘要】
一种对批量作业进行分组处理的方法及装置


[0001]本专利技术涉及数据处理
，特别是涉及一种对批量作业进行分组处理的方法及装置。

技术介绍

[0002]在一些数据处理量较大的业务场景中，往往需要在一个固定时间内对大量的业务数据进行批量处理。例如，银行系统通常在每日夜间固定的时间，通过调用相关的处理流程来对业务数据进行批量处理，该处理过程也被称为日终批量。
[0003]目前，使用的批量任务的处理流程是通过调度系统发起执行，首先通过分析该批量任务中的各个作业的先后执行顺序，然后依据各个作业间的先后执行顺序来确定对该批量任务进行处理。但是，这种方式仅仅以作业间的执行先后顺序来作为批量任务处理的考量因素，在批量任务执行时仍然会产生耗时大、效率低的问题。

技术实现思路

[0004]针对于上述问题，本专利技术提供一种对批量作业进行分组处理的方法及装置，提升了批量任务的处理效率。
[0005]为了实现上述目的，本专利技术提供了如下技术方案：一种对批量作业进行分组处理的方法，包括：获取待处理的批量任务，所述批量任务包括多个作业；依据原始配置信息，确定各个作业的依赖关系，所述原始配置信息包括从起始作业到终点作业的执行路径中各个作业的先后执行顺序，且所述执行路径有多个，所述依赖关系用于表征在各个执行路径下的每一作业的前置作业和后置作业；基于所述各个作业的依赖关系，对所述批量任务中的各个作业进行分组，得到初始作业组，所述初始作业组中的每一作业组按照级别由高到低排序，每一作业组中分别包括至少一个作业；依据每一作业的执行耗时，获得所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时；基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，以使所述目标作业组的执行总耗时小于所述初始作业组的执行总耗时；基于与所述目标作业组匹配的目标执行顺序，依次对所述目标作业组中的各个作业进行处理，得到所述批量任务的处理结果。
[0006]可选地，所述基于所述各个作业的依赖关系，对所述批量任务中的各个作业进行分组，得到初始作业组，包括：对所述各个作业的依赖关系进行解析，得到每一作业所属的路径信息；基于每一所述作业所对应的路径信息，确定是否存在仅在一条路径中出现的作
业；如果是，将确定出的作业所属的作业单元存储在初始作业组中的第一作业组，所述作业单元为包括按执行顺序连接的至少一个作业。
[0007]可选地，所述方法还包括：若存在在至少两条路径中出现的作业，将该作业存储在所述初始作业组的第二作业组中；当该作业对应的前置作业和/或后置作业未已分配到初始作业组中，将所述前置作业存储在所述第二作业组对应的上一级别的作业组；和/或将所述后置作业存储在所述第二作业组对应的下一级别的作业组。
[0008]可选地，所述将所述作业对应的作业单元存储在初始作业组中的第一作业组，包括：检测所述作业是否已在所述初始作业组中，如果是，将所述作业单元中除所述作业之外的作业移动至所述作业组对应的下一级别的作业组。
[0009]可选地，所述依据每一作业的执行耗时，获得所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，包括：获取每一作业的执行耗时；基于所述每一作业的执行耗时，计算每一初始作业组中各个作业单元的执行耗时，每一作业单元中包括至少一个作业，且每一作业单元中的各个作业按照依赖关系进行排列；将所述初始作业组的每一作业组中执行耗时最长的作业单元对应的执行耗时，确定为所述作业组的执行耗时；将所述初始作业组的各个作业组的执行耗时之和，确定为所述初始作业组的执行总耗时。
[0010]可选地，所述基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，包括：若待调整的作业组中存在执行耗时差满足第一条件的作业单元，将该作业单元确定为目标作业单元；将该目标作业单元调整至同一初始作业组、所述待调整的作业组的下一级别的作业组中，得到目标作业组以使所述目标作业单元调整后的各个作业组的执行总耗时小于所述目标作业组调整前的执行总耗时。
[0011]可选地，所述基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，包括：确定所述初始作业组中每一作业组的各个作业单元的执行耗时，将待调整作业组的执行耗时最长的作业单元确定为目标作业单元；若存在至少两个作业组用于接收所述目标作业单元时，基于作业组中用于执行资源的总量，从所述至少两个作业组中确定出目标调整作业组；将所述目标作业单元调整至所述目标调整作业组，得到目标作业组。
[0012]一种对批量作业进行分组处理的装置，包括：第一获取单元，用于获取待处理的批量任务，所述批量任务包括多个作业；
确定单元，用于依据原始配置信息，确定各个作业的依赖关系，所述原始配置信息包括从起始作业到终点作业的执行路径中各个作业的先后执行顺序，且所述执行路径有多个，所述依赖关系用于表征在各个执行路径下的每一作业的前置作业和后置作业；分组单元，用于基于所述各个作业的依赖关系，对所述批量任务中的各个作业进行分组，得到初始作业组，所述初始作业组中的每一作业组按照级别由高到低排序，每一作业组中分别包括至少一个作业；第二获取单元，用于依据每一作业的执行耗时，获得所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时；调整单元，用于基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，以使所述目标作业组的执行总耗时小于所述初始作业组的执行总耗时；处理单元，用于基于与所述目标作业组匹配的目标执行顺序，依次对所述目标作业组中的各个作业进行处理，得到所述批量任务的处理结果。
[0013]一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一所述的对批量作业进行分组处理的方法。
[0014]一种电子设备，包括：存储器，用于存储程序；处理器，用于执行所述程序，所述程序具体用于：获取待处理的批量任务，所述批量任务包括多个作业；依据原始配置信息，确定各个作业的依赖关系，所述原始配置信息包括从起始作业到终点作业的执行路径中各个作业的先后执行顺序，且所述执行路径有多个，所述依赖关系用于表征在各个执行路径下的每一作业的前置作业和后置作业；基于所述各个作业的依赖关系，对所述批量任务中的各个作业进行分组，得到初始作业组，所述初始作业组中的每一作业组按照级别由高到低排序，每一作业组中分别包括至少一个作业；依据每一作业的执行耗时，获得所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时；基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，以使所述目标作业组的执行总耗时小于所述初始作业组的执行总耗时；基于与所述目标作业组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对批量作业进行分组处理的方法，其特征在于，包括：获取待处理的批量任务，所述批量任务包括多个作业；依据原始配置信息，确定各个作业的依赖关系，所述原始配置信息包括从起始作业到终点作业的执行路径中各个作业的先后执行顺序，且所述执行路径有多个，所述依赖关系用于表征在各个执行路径下的每一作业的前置作业和后置作业；基于所述各个作业的依赖关系，对所述批量任务中的各个作业进行分组，得到初始作业组，所述初始作业组中的每一作业组按照级别由高到低排序，每一作业组中分别包括至少一个作业；依据每一作业的执行耗时，获得所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时；基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，以使所述目标作业组的执行总耗时小于所述初始作业组的执行总耗时；基于与所述目标作业组匹配的目标执行顺序，依次对所述目标作业组中的各个作业进行处理，得到所述批量任务的处理结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述各个作业的依赖关系，对所述批量任务中的各个作业进行分组，得到初始作业组，包括：对所述各个作业的依赖关系进行解析，得到每一作业所属的路径信息；基于每一所述作业所对应的路径信息，确定是否存在仅在一条路径中出现的作业；如果是，将确定出的作业所属的作业单元存储在初始作业组中的第一作业组，所述作业单元为包括按执行顺序连接的至少一个作业。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若存在在至少两条路径中出现的作业，将该作业存储在所述初始作业组的第二作业组中；当该作业对应的前置作业和/或后置作业未已分配到初始作业组中，将所述前置作业存储在所述第二作业组对应的上一级别的作业组；和/或将所述后置作业存储在所述第二作业组对应的下一级别的作业组。4.根据权利要求2所述的方法，其特征在于，所述将所述作业对应的作业单元存储在初始作业组中的第一作业组，包括：检测所述作业是否已在所述初始作业组中，如果是，将所述作业单元中除所述作业之外的作业移动至所述作业组对应的下一级别的作业组。5.根据权利要求1所述的方法，其特征在于，所述依据每一作业的执行耗时，获得所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，包括：获取每一作业的执行耗时；基于所述每一作业的执行耗时，计算每一初始作业组中各个作业单元的执行耗时，每一作业单元中包括至少一个作业，且每一作业单元中的各个作业按照依赖关系进行排列；将所述初始作业组的每一作业组中执行耗时最长的作业单元对应的执行耗时，确定为所述作业组的执行耗时；将所述初始作业组的各个作业组的执行耗时之和，确定为所述初始作业组的执行总耗
时。6.根据权利要求5所述的方法，其特征在于，所述基于所述初始作业组中的每一作业组的执行耗时以及所述初始作业组的执行总耗时，对所述初始作业组中的作业进行调整，得到目标作业组，包括：若待调整的作业组中存在执行耗时差满足第一条件的作业单元，将该作业单元确定为目标作业单元；将该目标作业单元调整至同一初始作业组、所述待调整的作业组的下一级别的作业组中...

【专利技术属性】
技术研发人员：汤惊涛，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：