一种任务执行及调度方法、系统、装置、计算设备及介质制造方法及图纸

本公开提供了一种任务执行及调度方法、系统、装置、计算设备及介质，其中，该方法包括：获取调度器发送的预设功能对应的任务实例，配置任务实例的执行环境；基于任务实例，确定任务实例对应的待执行任务包括的至少一个待执行步骤；生成至少一个待执行步骤中每个待执行步骤对应的执行实体，以利用执行实体执行对应的待执行步骤；或者，在到达预设功能对应的具有第一执行顺序的待执行任务的预设执行时间的情况下，确定与待执行任务具有第一依赖关系的其他待执行任务；基于此待执行任务和其他待执行任务的特征信息生成每个待执行任务的任务实例；基于第一依赖关系和任务实例，生成第一实例图，并基于第一实例图向对应的执行器发送任务实例。任务实例。任务实例。

【技术实现步骤摘要】
一种任务执行及调度方法、系统、装置、计算设备及介质


[0001]本公开涉及计算机
，具体而言，涉及一种任务执行及调度方法、系统、装置、计算设备及介质。

技术介绍

[0002]随着互联网时代来临，数据量暴增，开始使用大数据工具来替代经典数据仓库中的传统工具。一个完整的大数据分析系统，必然由很多任务单元组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流，为了管理复杂的工作流，出现了各种任务调度系统。
[0003]目前，常见的任务调度系统是将不同用户开发的任务组合成一个任务组，其中，该任务组中的各个任务具有一定的执行依赖关系，基于执行依赖关系相互协作，可以实现一定的预设功能，在对该任务组中的任务进行调度时，只有在任务组的每一个任务的执行时间到达时，才获取其对应的最新的任务环境，基于最新的任务环境对其进行实例化，保证了实例化每一个任务的灵活性。
[0004]但是，利用上述方法对任务组中的每一个任务进行调度处理时，如果在到达任务组中的某一个任务的执行时间的情况下，该任务却没有启动，需要依次检查其依赖的上游任务是否执行出错，在出错的上游任务与此任务之间存在很多任务时，依次检查的方式将增加运维的难度，降低任务调度系统的性能。

技术实现思路

[0005]本公开实施例至少提供一种任务执行及调度方法、系统、装置、计算设备及介质。
[0006]第一方面，本公开实施例提供了一种任务执行方法，包括：
[0007]获取调度器发送的预设功能对应的任务实例，配置所述任务实例的执行环境；其中，所述任务实例存在于第一实例图中，所述第一实例图由所述调度器根据所述预设功能对应的至少一个待执行任务生成的，每个待执行任务分别对应一个任务实例；
[0008]基于所述任务实例，确定所述任务实例对应的待执行任务所包括的至少一个待执行步骤；
[0009]基于所述任务实例，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体，以利用所述执行实体执行对应的待执行步骤。
[0010]在一种可能的实施方式中，所述基于所述任务实例，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体，包括：
[0011]配置所述至少一个待执行步骤中每个待执行步骤的工作环境，并基于所述任务实例和所述每个待执行步骤的工作环境，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体。
[0012]在一种可能的实施方式中，执行所述待执行步骤，还包括：
[0013]获取所述任务实例对应的每个待执行步骤的执行状态信息；
[0014]在基于所述执行状态信息，确定所述任务实例对应的每个待执行步骤均执行完成
的情况下，将所述任务实例的状态更新为完成状态。
[0015]在一种可能的实施方式中，所述获取所述任务实例对应的每个待执行步骤的执行状态信息，包括：
[0016]接收所述执行实体在所述待执行步骤执行完成的情况下，发送的指示所述待执行步骤执行完成的第一状态信息；和/或
[0017]从预设存储部件中获取所述待执行步骤的第二状态信息；其中，执行实体在所述待执行步骤执行完成的情况下，将指示所述待执行步骤执行完成的第二状态信息存入所述预设存储部件；
[0018]将获取的所述第一状态信息和/或所述第二状态信息作为所述待执行步骤对应的执行状态信息。
[0019]在一种可能的实施方式中，所述方法还包括：
[0020]在执行器重新启动和/或所述任务实例重新执行的情况下，从所述预设存储部件中获取所述任务实例对应的第一状态信息和/或第二状态信息；
[0021]基于所述第一状态信息和/或第二状态信息，确定所述任务实例中未执行完成的目标执行步骤；
[0022]在确定所述目标执行步骤的执行实体正在执行所述目标执行步骤的情况下，基于所述执行实体当前的执行进度，利用所述执行实体继续执行所述目标执行步骤。
[0023]在一种可能的实施方式中，在更新所述任务实例的状态之前，还包括：
[0024]在所述任务实例对应的所有待执行步骤均执行完成的情况下，将所述任务实例的状态更新为完成状态。
[0025]第二方面，本公开实施例提供一种任务调度方法，包括：
[0026]在到达预设功能对应的具有第一执行顺序的待执行任务的预设执行时间的情况下，确定与所述待执行任务具有第一依赖关系的其他待执行任务；
[0027]基于所述具有第一执行顺序的待执行任务和所述其他待执行任务中每一待执行任务的特征信息生成每个待执行任务的任务实例；
[0028]基于所述第一依赖关系和所述任务实例，生成第一实例图，并基于第一实例图向对应的执行器发送任务实例。
[0029]在一种可能的实施方式中，所述基于第一实例图向对应的执行器发送任务实例，包括：
[0030]将具有第一执行顺序的待执行任务对应的任务实例发送给对应的执行器；
[0031]在具有第一执行顺序的待执行任务对应的任务实例执行完成之后，基于所述第一依赖关系和所述第一实例图，确定具有第二执行顺序的待执行任务；
[0032]将具有第二执行顺序的待执行任务对应的任务实例发送给对应的执行器。
[0033]在一种可能的实施方式中，所述将具有第二执行顺序的待执行任务对应的任务实例发送给对应的执行器，包括：
[0034]获取具有第一执行顺序的待执行任务对应的任务实例的执行结果信息；
[0035]将所述执行结果信息和所述具有第二执行顺序的待执行任务对应的任务实例发送给对应的执行器。
[0036]在一种可能的实施方式中，所述方法还包括：
[0037]获取所述预设功能的执行周期，并基于所述执行周期和所述预设执行时间，确定所述具有第一执行顺序的待执行任务下一次执行的目标执行时间；
[0038]在到达所述目标执行时间的情况下，确定所述具有第一执行顺序的待执行任务与所述预设功能对应的其他待执行任务之间的第二依赖关系；
[0039]在所述第一依赖关系与所述第二依赖关系不相同的情况下，基于所述第二依赖关系生成第二实例图。
[0040]第三方面，本公开实施例还提供一种任务执行装置，包括：
[0041]获取模块，用于获取调度器发送的预设功能对应的任务实例，配置所述任务实例的执行环境；其中，所述任务实例存在于第一实例图中，所述第一实例图由所述调度器根据所述预设功能对应的至少一个待执行任务生成的，每个待执行任务分别对应一个任务实例；
[0042]第一确定模块，用于基于所述任务实例，确定所述任务实例对应的待执行任务所包括的至少一个待执行步骤；
[0043]执行模块，用于基于所述任务实例，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体，以利用所述执行实体执行对应的待执行步骤。
[0044]在一种可能的实施方式中，所述执行模块，具体用于配置所述至少一个待执行步骤中每个待执行步骤的工作环境，并基于所述任务实例和所述每个待执行步骤的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务执行方法，其特征在于，包括：获取调度器发送的预设功能对应的任务实例，配置所述任务实例的执行环境；其中，所述任务实例存在于第一实例图中，所述第一实例图由所述调度器根据所述预设功能对应的至少一个待执行任务生成的，每个待执行任务分别对应一个任务实例；基于所述任务实例，确定所述任务实例对应的待执行任务所包括的至少一个待执行步骤；基于所述任务实例，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体，以利用所述执行实体执行对应的待执行步骤。2.根据权利要求1所述的任务执行方法，其特征在于，所述基于所述任务实例，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体，包括：配置所述至少一个待执行步骤中每个待执行步骤的工作环境，并基于所述任务实例和所述每个待执行步骤的工作环境，生成所述至少一个待执行步骤中每个待执行步骤对应的执行实体。3.根据权利要求1或2所述的任务执行方法，其特征在于，执行所述待执行步骤，还包括：获取所述任务实例对应的每个待执行步骤的执行状态信息；在基于所述执行状态信息，确定所述任务实例对应的每个待执行步骤均执行完成的情况下，将所述任务实例的状态更新为完成状态。4.根据权利要求3所述的任务执行方法，其特征在于，所述获取所述任务实例对应的每个待执行步骤的执行状态信息，包括：接收所述执行实体在所述待执行步骤执行完成的情况下，发送的指示所述待执行步骤执行完成的第一状态信息；和/或从预设存储部件中获取所述待执行步骤的第二状态信息；其中，执行实体在所述待执行步骤执行完成的情况下，将指示所述待执行步骤执行完成的第二状态信息存入所述预设存储部件；将获取的所述第一状态信息和/或所述第二状态信息作为所述待执行步骤对应的执行状态信息。5.根据权利要求4所述的任务执行方法，其特征在于，所述方法还包括：在执行器重新启动和/或所述任务实例重新执行的情况下，从所述预设存储部件中获取所述任务实例对应的第一状态信息和/或第二状态信息；基于所述第一状态信息和/或第二状态信息，确定所述任务实例中未执行完成的目标执行步骤；在确定所述目标执行步骤的执行实体正在执行所述目标执行步骤的情况下，基于所述执行实体当前的执行进度，利用所述执行实体继续执行所述目标执行步骤。6.根据权利要求3所述的任务执行方法，其特征在于，在更新所述任务实例的状态之前，还包括：在所述任务实例对应的所有待执行步骤均执行完成的情况下，将所述任务实例的状态更新为完成状态。7.一种任务调度方法，其特征在于，包括：
在到达预设功能对应的具有第一执行顺序的待执行任务的预设执行时间的情况下，确定与所述待执行任务具有第一依赖关系的其他待执行任务；基于所述具有第一执行顺序的待执行任务和所述其他待执行任务中每一待执行任务的特征信息生成每个待执行任务的任务实例；基于所述第一依赖关系和所述任务实例，生成第一实例图，并基于第一实例图向对应的执行器发送任务实例。8.根据权利要求7所述的任务调度方法，其特征在于，所述基于第一实例图向对应的执行器发送任务实例，包括：将具有第一执行顺序的待执行任务对应的任务实例发送给对应的执行器；在具有第一执行顺序的待执行任务对应的任务实例执行完成之后，基于所述第一依赖关系和所述第一实例图，确定具有第二执行顺序的待执行任务；将具有第二执行顺序的待执行任务对应的任务实例发送给对应的执行器。9.根据权利要求8所述的任务调度方法，其特征在于，所述将具有第二执行顺序的待执行任务对应的任务实例发送给对应的执...

【专利技术属性】
技术研发人员：王煜，叶云龙，康卫东，
申请(专利权)人：北京高途云集教育科技有限公司，
类型：发明
国别省市：