任务调度方法、装置、计算机设备、存储介质和程序产品制造方法及图纸

本申请涉及一种任务调度方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取表任务列表；获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。整个方案通过根据表任务的依赖关系以及每个表的数据仓库层级权重，计算得到表任务权重，最后根据表任务权重进行排序得到任务调度表，综合考虑任务的依赖关系以及任务权重，保证任务调度耗时少，效率较高。效率较高。效率较高。

Task scheduling method, device, computer equipment, storage medium and program product

【技术实现步骤摘要】
任务调度方法、装置、计算机设备、存储介质和程序产品


[0001]本申请涉及资源调度
，特别是涉及一种任务调度方法、装置、计算机设备、存储介质和程序产品。

技术介绍

[0002]信息技术与数据智能大环境下，数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术。
[0003]随着数据仓库任务ETL(Extract，transform，load，抽取、清洗、转换、装载)越来越多，需要调度工具管理数据仓库任务的执行。然而，目前的数据仓库任务调度主要依赖人工对任务的执行顺序进行调度，任务调度效率较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高任务调度效率的任务调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种任务调度方法。该方法包括：
[0006]获取表任务列表；
[0007]获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；
[0008]根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；
[0009]根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。
[0010]在其中一个实施例中，获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级包括：获取表任务列表中表任务；提取表任务的依赖线；获取依赖线中的每个表的表标识；根据每个表的表标识，确定每个表对应的数据仓库层级。
[0011]在其中一个实施例中，根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重包括：根据预设数据仓库层级权重确定依赖线中的每个表的数据仓库层级权重；对依赖线中的每个表的数据仓库层级权重进行累加，得到表任务权重。
[0012]在其中一个实施例中，获取表任务列表包括：获取任务配置文件；对任务配置文件进行解析，得到表依赖关系；根据表依赖关系，生成表任务列表。
[0013]在其中一个实施例中，对任务配置文件进行解析，得到表依赖关系包括：根据任务配置文件的配置信息，确定任务文件地址信息；根据任务文件地址信息，获取任务文件；对任务文件中的SQL语句进行分割，得到分割后的SQL语句以及SQL语句序号；对分割后的SQL语句进行依赖解析，得到表依赖关系。
[0014]在其中一个实施例中，根据表依赖关系，生成表任务列表包括：根据分割后的SQL
语句以及SQL语句序号，生成表任务；根据表任务以及表依赖关系，生成表任务列表。
[0015]第二方面，本申请还提供了一种任务调度装置。该装置包括：
[0016]获取模块，用于获取表任务列表；
[0017]提取模块，用于获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；
[0018]计算模块，用于根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；
[0019]生成模块，用于根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。
[0020]第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
[0021]获取表任务列表；
[0022]获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；
[0023]根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；
[0024]根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。
[0025]第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0026]获取表任务列表；
[0027]获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；
[0028]根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；
[0029]根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。
[0030]第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0031]获取表任务列表；
[0032]获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；
[0033]根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；
[0034]根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。
[0035]上述任务调度方法、装置、计算机设备、存储介质和计算机程序产品，获取表任务列表；获取表任务列表中表任务，提取表任务的依赖线，确定依赖线中每个表的数据仓库层级；根据依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；
根据每个表任务权重对表任务列表中的表任务进行优先级排序，生成任务调度表。整个方案通过根据表任务的依赖关系以及每个表的数据仓库层级权重，计算得到表任务权重，最后根据表任务权重进行排序得到任务调度表，综合考虑任务的依赖关系以及任务权重，保证任务调度耗时少，效率较高。
附图说明
[0036]图1为一个实施例中任务调度方法的应用环境图；
[0037]图2为一个实施例中任务调度方法的流程示意图；
[0038]图3为一个实施例中表的数据仓库层级确定步骤的流程示意图；
[0039]图4为一个实施例中确定表依赖关系的流程示意图；
[0040]图5为一个实施例中生成表任务的流程示意图；
[0041]图6为一个应用实施例中任务调度过程的完整流程图；
[0042]图7为一个实施例中任务调度装置的结构框图；
[0043]图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0044]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0045]本申请实施例提供的任务调度方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102发送任务调度请求，服务器104获取任务调度请求，对任务调度请求进行解析，获取表任务列表；获取表任务列表中每个表任务，提取每个表任务的依赖线，确定依赖线中每个表的数据仓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，所述方法包括：获取表任务列表；获取所述表任务列表中表任务，提取所述表任务的依赖线，确定所述依赖线中每个表的数据仓库层级；根据所述依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重；根据每个表任务权重对所述表任务列表中的表任务进行优先级排序，生成任务调度表。2.根据权利要求1所述的方法，其特征在于，所述获取所述表任务列表中表任务，提取所述表任务的依赖线，确定所述依赖线中每个表的数据仓库层级包括：获取所述表任务列表中表任务；提取所述表任务的依赖线；获取所述依赖线中的每个表的表标识；根据所述每个表的表标识，确定每个表对应的数据仓库层级。3.根据权利要求1所述的方法，其特征在于，所述根据所述依赖线中的每个表的数据仓库层级以及预设数据仓库层级权重，得到表任务权重包括：根据预设数据仓库层级权重确定所述依赖线中的每个表的数据仓库层级权重；对所述依赖线中的每个表的数据仓库层级权重进行累加，得到表任务权重。4.根据权利要求1所述的方法，其特征在于，所述获取表任务列表包括：获取任务配置文件；对所述任务配置文件进行解析，得到表依赖关系；根据所述表依赖关系，生成表任务列表。5.根据权利要求4所述的方法，其特征在于，所述对所述任务配置文件进行解析，得到表依赖关系包括：根据所述任务配置文件的配置信息，确定任务文件地址信息；根据...

【专利技术属性】
技术研发人员：刘志超，
申请(专利权)人：湖南长银五八消费金融股份有限公司，
类型：发明
国别省市：