本申请提供了一种数据处理任务的调度方法、装置、计算机设备和存储介质。该方法包括：响应于调度开始指令，生成初始的调度日志，将符合启动条件的数据处理任务作为本次调度的目标任务；按照预设执行机制调取目标任务执行，为每个被调取的目标任务生成初始的任务日志，并在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成；响应于日志检查指令，检查调度日志和任务日志，以确定是否存在被中断的目标任务；日志检查指令在调度系统启动后按照第一间隔周期性进行；若是，则从被中断的目标任务开始，继续执行调取目标任务。该方法可以大大减少系统运维人员的压力，确保系统能有效长时间地稳定运行。
1、在当前的商业软件环境中，商业系统基本上每天都需要针对本系统的数据进行处理。如进行数据清洗、格式转换、制作报表等等。而完成这一工作则需要一系列的可重复的作业组成的。为了能最大效率地、自动化地完成此项工作，调度系统则被专利技术出来，能有计划地、自动地处理此项繁重的工作。
2、由于每天的数据处理是保证系统能准确运行的大前提，所以保证调度系统能平稳运行则是一个关键要素。当调度系统因某些原因崩溃后，在系统层面可以依靠守护进程，将调度系统的进程重新启动，但系统重新启动后，原有的本来正在运行的任务无法自动重启。同时调度系统与业务系统需要通过网络连接，在调度执行过程中，调度系统与业务系统的通信通道可能出现丢失，而在通道丢失后，原本正在执行的程序也会被中断并无法返回信息给调度系统，那么调度系统则一直认为程序是在执行而实际已被中断。在上述情况中，传统技术只能依靠人工对执行情况进行检查，再重新启动被中断的任务，如果运维人员不能及时处理，则会使得本来要每天的数据处理任务不能及时完成，从而影响系统的正常运作。
>3、响应于调度开始指令，生成初始的调度日志，将符合启动条件的数据处理任务作为本次调度的目标任务；4、按照预设执行机制调取目标任务执行，为每个被调取的目标任务生成初始的任务日志，并在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成；
5、响应于日志检查指令，检查调度日志和任务日志，以确定是否存在被中断的目标任务；日志检查指令在调度系统启动后按照第一间隔周期性进行；
6、若是，则从被中断的目标任务开始，返回按照预设执行机制调取目标任务执行，为每个被调取的目标任务生成初始的任务日志，并在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成。
7、在其中一个实施例中，调度日志和任务日志中包括执行状态；
8、在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成，包括：
9、在第一个目标任务被调取后，在调度日志中，将执行状态更新为执行中；
10、对于任意一个被调取的目标任务，在对应的任务日志中，将执行状态更新为执行中，并在该目标任务被完成后，将执行状态更新为已完成；
11、在所有目标任务均被调取且对应的任务日志的执行状态均为已完成的情况下，在调度日志中，将执行状态更新为已完成。
12、在其中一个实施例中，调度日志和任务日志中包括心跳时间；
13、在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成，还包括：
14、对于执行状态为执行中的任务日志，按照第二间隔，将心跳时间更新为当前时间；
15、对于执行状态为执行中的调度日志，按照第三间隔，将心跳时间更新为当前时间。
16、在其中一个实施例中，检查调度日志和任务日志，以确定是否存在被中断的目标任务，包括：
17、判断执行状态为执行中的调度日志中，是否存在心跳时间与当前时间的差大于第三间隔的调度日志，若是，则将其确定为目标调度日志；
18、在目标调度日志对应的任务日志中，判断执行状态为执行中的任务日志是否存在心跳时间与当前时间的差大于第二间隔的任务日志，若是，则将其对应的目标任务确定为被中断的目标任务。
19、在其中一个实施例中，调度日志和任务日志中包括开始时间和结束时间；
20、在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成，包括：
21、在第一个目标任务被调取后，在调度日志中，将开始时间更新为当前时间；
22、对于任意一个被调取的目标任务，在对应的任务日志中，将开始时间更新为当前时间，并在该目标任务被完成后，将结束时间更新为当前时间；
23、在所有目标任务均被调取且对应的任务日志的执行状态均为已完成的情况下，在调度日志中，将结束时间更新为当前时间。
24、在其中一个实施例中，预设执行机制包括：
25、获取当前调度系统的资源利用率，并根据资源利用率确定最大数据处理量；
26、根据最大数据处理量从目标任务中优先调取数据量最大的目标任务。
27、在其中一个实施例中，各目标任务携带有和优先级相关的标签，预设执行机制包括：
28、按照优先级高到低的顺序调取目标任务执行。
29、第二方面，本申请提供了一种数据处理任务的调度装置，应用于调度系统，调度系统用于从业务系统中调取数据以执行数据处理任务，数据处理任务的调度装置包括：
30、第一响应模块，用于响应于调度开始指令，生成初始的调度日志，将符合启动条件的数据处理任务作为本次调度的目标任务；
31、第一处理模块，用于按照预设执行机制调取目标任务执行，为每个被调取的目标任务生成初始的任务日志，并在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成；
32、第二响应模块，用于响应于日志检查指令，检查调度日志和任务日志，以确定是否存在被中断的目标任务；日志检查指令在调度系统启动后按照第一间隔周期性进行；
33、第二处理模块，用于在存在被中断的目标任务的情况下，从被中断的目标任务开始，返回按照预设执行机制调取目标任务执行，为每个被调取的目标任务生成初始的任务日志，并在每个目标任务的执行过程中，更新对应的任务日志和调度日志，直至所有目标任务均已完成。
34、第三方面，本申请提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的数据处理任务的调度方法的步骤。
35、第四方面，本申请提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的数据处理任务的调度方法的步骤。
36、从以上技术方案可以看出，本申请实施例具有以下优点：
37、通过在调度开始时生成调度日志，记录本次调度的相关信息，并确定本次调度流程所包含的目标任务，在调度系统按预设机制调取每个目标任务时，为每个目标任务创建任务日志来记录执行情况，并在执行过程中实时更新任务日志和调度日志，以跟踪任务执行进度。同时设置了周期性的日志检查机制，以检查是否有任务中断的情况。如本文档来自技高网...
【技术保护点】
1.一种数据处理任务的调度方法，其特征在于，应用于调度系统，所述调度系统用于从业务系统中调取数据以执行数据处理任务，所述数据处理任务的调度方法包括：
2.根据权利要求1所述的数据处理任务的调度方法，其特征在于，所述调度日志和所述任务日志中包括执行状态；
3.根据权利要求2所述的数据处理任务的调度方法，其特征在于，所述调度日志和所述任务日志中包括心跳时间；
4.根据权利要求3所述的数据处理任务的调度方法，其特征在于，所述检查所述调度日志和所述任务日志，以确定是否存在被中断的所述目标任务，包括：
5.根据权利要求2所述的数据处理任务的调度方法，其特征在于，所述调度日志和所述任务日志中包括开始时间和结束时间；
6.根据权利要求1所述的数据处理任务的调度方法，其特征在于，所述预设执行机制包括：
7.根据权利要求1所述的数据处理任务的调度方法，其特征在于，各所述目标任务携带有和优先级相关的标签，所述预设执行机制包括：
8.一种数据处理任务的调度装置，其特征在于，应用于调度系统，所述调度系统用于从业务系统中调取数据以执行数据处理任务，所述数据处理任务的调度装置包括：
9.一种计算机设备，其特征在于，包括一个或多个处理器，以及存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1至7任一项所述的数据处理任务的调度方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7任一项所述的数据处理任务的调度方法的步骤。
...
【技术特征摘要】
1.一种数据处理任务的调度方法，其特征在于，应用于调度系统，所述调度系统用于从业务系统中调取数据以执行数据处理任务，所述数据处理任务的调度方法包括：
2.根据权利要求1所述的数据处理任务的调度方法，其特征在于，所述调度日志和所述任务日志中包括执行状态；
3.根据权利要求2所述的数据处理任务的调度方法，其特征在于，所述调度日志和所述任务日志中包括心跳时间；
4.根据权利要求3所述的数据处理任务的调度方法，其特征在于，所述检查所述调度日志和所述任务日志，以确定是否存在被中断的所述目标任务，包括：
5.根据权利要求2所述的数据处理任务的调度方法，其特征在于，所述调度日志和所述任务日志中包括开始时间和结束时间；
6.根据权利要求1所述的数据处理任务的调度方法，其特征在于，所述预设执...
【专利技术属性】
技术研发人员：丁家奎，雷健源，钟国文，刘建文，
申请(专利权)人：广州天维信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。