【技术实现步骤摘要】
本申请涉及任务调度领域，具体而言，涉及一种任务的调度处理方法、装置、存储介质及电子设备。
技术介绍
1、在大数据领域中，任务调度平台的应用非常广泛，一个高效的调度平台可以为企业带来极大的收益。
2、在实际生产中，任务调度流程看做一个dag(directed acyclic graph，有向无环图)，由于大部分任务会依赖于上游任务的结果，因此在进行任务调度时，下游任务需等待上游任务全部执行完成后才能开始运行，但当某个待执行的下游任务的多数上游任务执行较快，而少数上游任务执行较慢时，为保证执行任务时所需数据的数据完整性，待执行的下游任务需等待最慢的上游任务执行完毕后才能执行，影响待执行的下游任务的时效性，从而影响多层任务的整体执行效率。
3、针对相关技术中下游任务需等待上游任务全部执行完成后才能开始运行，少数上游任务执行较慢会影响任务的整体运行效率的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请提供一种任务的调度处理方法、装置、存储介质及电子设备，以解决相关技术中下游任务需等待上游任务全部执行完成后才能开始运行，少数上游任务执行较慢会影响任务的整体运行效率的问题。
2、根据本申请的一个方面，提供了一种任务的调度处理方法。该方法包括：在执行目标任务之前，从元数据库获取目标任务需要的结果集信息，其中，结果集信息中包含多个结果集的完整度，多个结果集是指目标任务依赖的上游任务的结果集，每个上游任务在运行过程中更新对应结果集中的数据；基于结果集信
3、可选地，根据不完整结果集判断是否允许目标任务提前运行包括：判断不完整结果集的数量是否小于等于预设数量；在不完整结果集的数量小于等于预设数量的情况下，判断每个不完整结果集是否携带有预设标签，其中，预设标签指示目标任务支持基于分批接收到的数据分批执行任务；在所有不完整结果集携带有预设标签的情况下，确定允许目标任务提前运行。
4、可选地，目标任务依赖的每个上游任务至少包括一个结果集，在一个上游任务包括两个以上的结果集的情况下，目标任务依赖的结果集小于等于一个上游任务包括的所有结果集。
5、可选地，在不完整结果集所属的上游任务的执行过程中，向目标任务调度不完整结果集中的增量数据，直至不完整结果集变更为完整结果集包括：按照预设调度规则分批向目标任务调度不完整结果集中的增量数据，并在每调度完成一批增量数据的情况下，为已调度的增量数据打上已调度标签，直至不完整结果集变更为完整结果集，且变更后的结果集中的所有数据均携带已调度标签，其中，目标任务基于分批接收到的数据分批执行任务。
6、可选地，按照预设调度规则分批向目标任务调度不完整结果集中的增量数据包括：每隔预设时间间隔获取不完整结果集中的未调度的增量数据，并向目标任务调度未调度的增量数据。
7、可选地，按照预设调度规则分批向目标任务调度不完整结果集中的增量数据包括：检测不完整结果集中生成的未调度的增量数据是否达到预设数据量，在未调度的增量数据每次达到预设数据量的情况下，向目标任务调度预设数据量的未调度的增量数据。
8、可选地，按照预设调度规则分批向目标任务调度不完整结果集中的剩余数据包括：每隔预设时间间隔判断不完整结果集中的未调度的增量数据是否大于等于预设数据量；在未调度的增量数据大于等于预设数据量的情况下，将未调度的增量数据调度至目标任务；在未调度的增量数据小于预设数据量的情况下，在预设时间间隔之后再次判断未调度的增量数据是否大于等于预设数据量，直至未调度的增量数据大于等于预设数据量，将未调度的增量数据调度至目标任务。
9、根据本申请的另一方面，提供了一种任务的调度处理装置。该装置包括：获取单元，用于在执行目标任务之前，从元数据库获取目标任务需要的结果集信息，其中，结果集信息中包含多个结果集的完整度，多个结果集是指目标任务依赖的上游任务的结果集，每个上游任务在运行过程中更新对应结果集中的数据；判断单元，用于基于结果集信息确定多个结果集中的完整结果集和不完整结果集，并根据不完整结果集判断是否允许目标任务提前运行；调度单元，用于在允许目标任务提前运行的情况下，向目标任务调度完整结果集和不完整结果集中的数据，并在不完整结果集所属的上游任务的执行过程中，向目标任务调度不完整结果集中的增量数据，直至不完整结果集变更为完整结果集，其中，目标任务在接收数据的过程中分批数据执行任务。
10、根据本专利技术实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种任务的调度处理方法。
11、根据本专利技术实施例的另一方面，还提供了一种电子设备，包含处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种任务的调度处理方法。
12、通过本申请，采用以下步骤：在执行目标任务之前，从元数据库获取目标任务需要的结果集信息，其中，结果集信息中包含多个结果集的完整度，多个结果集是指目标任务依赖的上游任务的结果集，每个上游任务在运行过程中更新对应结果集中的数据；基于结果集信息确定多个结果集中的完整结果集和不完整结果集，并根据不完整结果集判断是否允许目标任务提前运行；在允许目标任务提前运行的情况下，向目标任务调度完整结果集和不完整结果集中的数据，并在不完整结果集所属的上游任务的执行过程中，向目标任务调度不完整结果集中的增量数据，直至不完整结果集变更为完整结果集，其中，目标任务在接收数据的过程中分批数据执行任务，解决了相关技术中下游任务需等待上游任务全部执行完成后才能开始运行，少数上游任务执行较慢会影响任务的整体运行效率的问题。在目标任务的大部分上游任务执行完成、少数任务未执行完成的情况下，生成完整结果集和不完整结果集，通过将目标任务依赖的完整结果集以及不完整结果集中的数据先输出给下游，让目标任务可以提前运行，进而达到了目标任务与不完整结果集对应的上游慢任务并行运行，提升任务的调度效率和任务的整体执行效率的效果。
本文档来自技高网...【技术保护点】
1.一种任务的调度处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，根据所述不完整结果集判断是否允许所述目标任务提前运行包括：
3.根据权利要求1所述的方法，其特征在于，所述目标任务依赖的每个上游任务至少包括一个结果集，在一个上游任务包括两个以上的结果集的情况下，所述目标任务依赖的结果集小于等于一个上游任务包括的所有结果集。
4.根据权利要求1所述的方法，其特征在于，在所述不完整结果集所属的上游任务的执行过程中，向所述目标任务调度所述不完整结果集中的增量数据，直至所述不完整结果集变更为完整结果集包括：
5.根据权利要求4所述的方法，其特征在于，按照预设调度规则分批向所述目标任务调度所述不完整结果集中的增量数据包括：
6.根据权利要求4所述的方法，其特征在于，按照预设调度规则分批向所述目标任务调度所述不完整结果集中的增量数据包括：
7.根据权利要求4所述的方法，其特征在于，按照预设调度规则分批向所述目标任务调度所述不完整结果集中的剩余数据包括：
8.一种任务的调度处理装置，其特
9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的任务的调度处理方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任意一项所述的任务的调度处理方法。
...【技术特征摘要】
1.一种任务的调度处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，根据所述不完整结果集判断是否允许所述目标任务提前运行包括：
3.根据权利要求1所述的方法，其特征在于，所述目标任务依赖的每个上游任务至少包括一个结果集，在一个上游任务包括两个以上的结果集的情况下，所述目标任务依赖的结果集小于等于一个上游任务包括的所有结果集。
4.根据权利要求1所述的方法，其特征在于，在所述不完整结果集所属的上游任务的执行过程中，向所述目标任务调度所述不完整结果集中的增量数据，直至所述不完整结果集变更为完整结果集包括：
5.根据权利要求4所述的方法，其特征在于，按照预设调度规则分批向所述目标任务调度所述不完整结果集中的增量数据包括：...
【专利技术属性】
技术研发人员：铁正，尹春光，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。