本公开关于一种任务处理方法、装置、服务器及存储介质，所述方法包括：获取输入的初始任务标识和目标时间区间；从任务依赖关系结构中，获取与初始任务标识相同的任务标识所对应的任务，作为当前任务；从任务依赖关系结构中获取当前任务对应的下游任务，将当前任务和当前任务对应的下游任务作为目标任务；根据目标任务的调度周期和目标时间区间，确定目标任务的任务执行数据；根据目标任务的任务依赖关系，确定任务执行数据之间的数据依赖关系；根据数据依赖关系，生成包括任务执行数据的任务执行数据结构，并按照任务执行数据结构执行任务执行数据。本实施例的任务执行数据结构占用内存资源较少，从而提高了内存资源的利用率。从而提高了内存资源的利用率。从而提高了内存资源的利用率。
【技术实现步骤摘要】
任务处理方法、装置、服务器及存储介质
[0001]本公开涉及计算机
，尤其涉及一种任务处理方法、装置、服务器及存储介质。
技术介绍
[0002]大数据的计算、分析和处理通常由很多独立的进程完成，每个进程完成特定的数据处理逻辑，这些进程称之为任务。在实际某个大数据工作流处理过程中，任务和任务之间存在着先后的顺序依赖关系，也可以称为血缘关系。
[0003]举例来说，要处理任务A，首先要完成任务B的处理，因为任务A的处理依赖任务于B的处理结果，那么任务A和任务B的依赖关系为：任务A依赖于任务B。由于任务之间存在依赖关系，为保证工作流中整体任务正常运行处理，任务需要按照依赖关系有序、高效的执行，故而每次执行任务之前需要根据其任务元数据构建任务实例血缘图，在任务实例血缘图梳理了每个任务的任务实例之间的依赖关系，按照任务实例血缘图按序执行任务实例完成任务的执行。
[0004]然而，由于全量的任务实例血缘图构建后会存储到数据库，以便于任务实例血缘图恢复以快速执行任务，每次写入的任务规模在百万级别左右，需要消耗大量的内存资源，导致内存资源的利用率较低。
技术实现思路
[0005]本公开提供一种任务处理方法、装置、服务器及存储介质，以至少解决相关技术中维护全量的任务实例血缘图占用大量内存资源，导致内存资源的利用率较低的问题。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种任务处理方法，包括：
[0007]获取输入的初始任务标识和目标时间区间；
[0008]从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务；所述任务依赖关系结构中包括多个任务对应的任务标识、调度周期和任务依赖关系；
[0009]从所述任务依赖关系结构中获取所述当前任务对应的下游任务，将所述当前任务和所述当前任务对应的下游任务作为目标任务；
[0010]根据所述目标任务的所述调度周期和所述目标时间区间，确定所述目标任务的任务执行数据；
[0011]根据所述目标任务的所述任务依赖关系，确定所述任务执行数据之间的数据依赖关系；
[0012]根据所述数据依赖关系，生成包括所述任务执行数据的任务执行数据结构，并按照所述任务执行数据结构执行所述任务执行数据。
[0013]在其中一个实施例中，所述根据所述目标任务的所述调度周期和所述目标时间区
间，确定所述目标任务的任务执行数据，包括：
[0014]根据所述目标任务的调度周期和所述目标时间区间，确定至少一个任务执行时间；
[0015]将所述任务执行时间作为所述目标任务的执行时间，得到所述目标任务的至少一个任务执行数据。
[0016]在其中一个实施例中，在从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务之前，所述方法还包括：
[0017]获取任务元数据；所述任务元数据包括任务对应的任务标识、调度周期和上游依赖数据；所述上游依赖数据包括所述任务对应的上游任务的上游任务标识和上游依赖描述符；
[0018]根据所述上游依赖描述符和所述上游任务的调度周期，生成所述任务的依赖关系式；
[0019]根据所述任务对应的任务标识和所述依赖关系式，生成所述任务依赖关系结构。
[0020]在其中一个实施例中，所述上游依赖描述符包括操作符和依赖时间，所述根据所述上游依赖描述符和所述上游任务的调度周期，生成所述任务的依赖关系式，包括：
[0021]获取位图；所述位图中包括所述调度周期、所述操作符和所述依赖时间的赋值位置；
[0022]按照针对所述调度周期的转换关系，将所述上游任务的调度周期转换为第一结果数值；按照针对所述操作符的转换关系将所述操作符转换为第二结果数值；按照针对所述依赖时间的转换关系将所述依赖时间转换为第三结果数值；
[0023]按照所述调度周期、所述操作符和所述依赖时间的赋值位置，分别将所述第一结果数值、第二结果数值和第三结果数值，导入所述位图中的对应位置，得到所述任务的任务依赖关系。
[0024]在其中一个实施例中，在根据所述任务对应的任务标识和所述依赖关系式，生成所述任务依赖关系结构之后，所述方法还包括：
[0025]获取增量任务元数据和对应的操作行为；
[0026]根据所述操作行为和所述增量任务元数据，对所述任务依赖关系结构进行更新，得到更新后的任务依赖关系结构。
[0027]在其中一个实施例中，所述增量任务元数据包括增量任务对应的增量任务标识、增量调度周期和增量上游依赖数据；所述增量上游依赖数据包括所述增量任务对应的增量上游任务的增量上游任务标识和增量上游依赖描述符。
[0028]在其中一个实施例中，所述根据所述操作行为和所述增量任务元数据，对所述任务依赖关系结构进行更新，得到更新后的任务依赖关系结构，包括：
[0029]当所述操作行为为新增操作行为时，根据所述增量上游依赖描述符和所述增量上游任务的增量调度周期，确定所述增量任务的依赖关系式；
[0030]将所述增量任务对应的增量任务标识和所述依赖关系式，添加到所述任务依赖关系结构中，得到更新后的任务依赖关系结构。
[0031]在其中一个实施例中，所述根据所述操作行为和所述增量任务元数据，对所述任务依赖关系结构进行更新，得到更新后的任务依赖关系结构，包括：
[0032]当所述操作行为为更新操作行为时，获取所述增量任务元数据中的增量任务标识；
[0033]确定所述任务依赖关系结构中，与所述增量任务标识相同的任务标识，作为更新任务标识；
[0034]根据所述增量上游依赖描述符和所述增量上游任务的增量调度周期，确定所述增量任务的增量依赖关系式；
[0035]采用所述增量依赖关系式替换所述更新任务标识对应的任务的依赖关系式，得到更新后的任务依赖关系结构。
[0036]在其中一个实施例中，所述根据所述操作行为和所述增量任务元数据，对所述任务依赖关系结构进行更新，得到更新后的任务依赖关系结构，包括：
[0037]当所述操作行为为删除操作行为时，获取所述增量任务元数据中的增量任务标识；
[0038]确定所述任务依赖关系结构中，与所述增量任务标识相同的任务标识，作为删除任务标识；
[0039]将所述任务依赖关系结构中与所述删除任务标识对应的任务的依赖关系式进行删除，得到更新后的任务依赖关系结构。
[0040]根据本公开实施例的第二方面，提供一种任务处理装置，包括：
[0041]输入数据获取单元，被配置为执行获取输入的初始任务标识和目标时间区间；
[0042]当前任务获取单元，被配置为执行从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务；所述任务依赖关系结构中包括多个任务对应的任务标识、调度周期和任务依赖关系；
[0043]目标任务获取单元，被配置为执行从所述任务依本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：获取输入的初始任务标识和目标时间区间；从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务；所述任务依赖关系结构中包括多个任务对应的任务标识、调度周期和任务依赖关系；从所述任务依赖关系结构中获取所述当前任务对应的下游任务，将所述当前任务和所述当前任务对应的下游任务作为目标任务；根据所述目标任务的所述调度周期和所述目标时间区间，确定所述目标任务的任务执行数据；根据所述目标任务的所述任务依赖关系，确定所述任务执行数据之间的数据依赖关系；根据所述数据依赖关系，生成包括所述任务执行数据的任务执行数据结构，并按照所述任务执行数据结构执行所述任务执行数据。2.根据权利要求1所述的任务处理方法，其特征在于，所述根据所述目标任务的所述调度周期和所述目标时间区间，确定所述目标任务的任务执行数据，包括：根据所述目标任务的调度周期和所述目标时间区间，确定至少一个任务执行时间；将所述任务执行时间作为所述目标任务的执行时间，得到所述目标任务的至少一个任务执行数据。3.根据权利要求1所述的任务处理方法，其特征在于，在从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务之前，所述方法还包括：获取任务元数据；所述任务元数据包括任务对应的任务标识、调度周期和上游依赖数据；所述上游依赖数据包括所述任务对应的上游任务的上游任务标识和上游依赖描述符；根据所述上游依赖描述符和所述上游任务的调度周期，生成所述任务的依赖关系式；根据所述任务对应的任务标识和所述依赖关系式，生成所述任务依赖关系结构。4.根据权利要求3所述的任务处理方法，其特征在于，所述上游依赖描述符包括操作符和依赖时间，所述根据所述上游依赖描述符和所述上游任务的调度周期，生成所述任务的依赖关系式，包括：获取位图；所述位图中包括所述调度周期、所述操作符和所述依赖时间的赋值位置；按照针对所述调度周期的转换关系，将所述上游任务的调度周期转换为第一结果数值；按照针对所述操作符的转换关系将所述操作符转换为第二结果数值；按照针对所述依赖时间的转换关系将所述依赖时间转换为第三结果数值；按照所述调度周期、所述操作符和所述依赖时间的赋值位置，分别将所述第一结果数值、第二结果数值和第三结果数值，导入所述位图中的对应位置，得到所述任务的任务依赖关系。5.根据权利要求3所述...
【专利技术属性】
技术研发人员：钱佳，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。