ETL任务调度方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种ETL任务调度方法、装置、计算机设备及存储介质。该方法包括：从ETL任务列表获取ETL任务作为目标ETL任务，ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据目标ETL任务的依赖关系判断目标ETL任务是否存在依赖ETL任务；若目标ETL任务不存在依赖ETL任务，将目标ETL任务发送给调度服务器，以由调度服务器处理所述目标ETL任务；若目标ETL任务存在依赖ETL任务，根据目标ETL任务的依赖ETL任务的执行结果来处理目标ETL任务，从而能够实现ETL任务的自动化执行，极大地提高了ETL任务调度的效率，减少了企业员工的工作负担，降低人力成本。同时本发明专利技术实施例的技术方案能够在非上班时间自动化工作，充分利用了调度服务器的调度资源，减缓了调度服务器的负载。

【技术实现步骤摘要】
ETL任务调度方法、装置、计算机设备及存储介质
本专利技术涉及大数据
，尤其涉及一种ETL任务调度方法、装置、计算机设备及存储介质。
技术介绍
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。目前，ETL任务调度需要手工执行一系列流程，过程重复繁琐，自动化程度低，效率低下。随着企业数据量的增多，调度任务急剧增加，常常需要员工加班才能够完成。并且，ETL任务调度出现问题后，需要人为到ETL任务调度服务器查找错误原因，效率低下。
技术实现思路
本专利技术实施例提供了一种ETL任务调度方法、装置、计算机设备及存储介质，旨在解决目前ETL任务调度效率低下的问题。第一方面，本专利技术实施例提供了一种ETL任务调度方法，其包括：从ETL任务列表获取ETL任务作为目标ETL任务，所述ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据所述目标ETL任务的依赖关系判断所述目标ETL任务是否存在依赖ETL任务；若判断结果为所述目标ETL任务不存在依赖ETL任务，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；若判断结果为所述目标ETL任务存在依赖ETL任务，根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务。第二方面，本专利技术实施例还提供了一种ETL任务调度装置，其包括用于执行上述方法的单元。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。本专利技术实施例提供了一种ETL任务调度方法、装置、计算机设备及存储介质。其中，所述方法包括：从ETL任务列表获取ETL任务作为目标ETL任务，所述ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据所述目标ETL任务的依赖关系判断所述目标ETL任务是否存在依赖ETL任务；若判断结果为所述目标ETL任务不存在依赖ETL任务，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；若判断结果为所述目标ETL任务存在依赖ETL任务，根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务从而能够实现ETL任务的自动化执行，极大地提高了ETL任务调度的效率，减少了企业员工的工作负担，降低人力成本。同时本专利技术实施例的技术方案能够在非上班时间自动化工作，充分利用了调度服务器的调度资源，减缓了调度服务器的负载。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种ETL任务调度方法的应用场景示意图；图2为本专利技术实施例提供的一种ETL任务调度方法的流程示意图；图3为本专利技术实施例提供的一种ETL任务调度方法的子流程示意图；图4为本专利技术另一实施例提供的一种ETL任务调度方法的流程示意图；图5为本专利技术另一实施例提供的一种ETL任务调度方法的子流程示意图；图6为本专利技术实施例提供的一种ETL任务调度装置的示意性框图；图7为本专利技术实施例提供的一种ETL任务调度装置的处理单元的示意性框图；图8为本专利技术另一实施例提供的一种ETL任务调度装置的示意性框图；图9为本专利技术另一实施例提供的一种ETL任务调度装置的第二获取单元的示意性框图；以及图10为本专利技术实施例提供的一种计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。请参阅图1和图2，图1为本专利技术实施例提供的一种ETL任务调度方法的应用场景示意图。图2为本专利技术实施例提供的一种ETL任务调度方法的示意性流程图。参见图1，本专利技术的方法可应用于管理服务器1中，管理服务器1从ETL任务列表获取ETL任务，并将获取到的ETL任务发送给调度服务器2，以由调度服务器2处理ETL任务。管理服务器1在调度服务器2未能成功处理ETL任务时，从调度服务器2获取ETL任务的错误信息。图2是本专利技术实施例提供的ETL任务调度方法的流程示意图。如图所示，该方法包括以下步骤S1-S4。S1、从ETL任务列表获取至少一个ETL任务作为目标ETL任务，ETL任务列表包含ETL任务以及ETL任务的依赖关系。在本专利技术实施例中，ETL任务列表中包含ETL任务以及ETL任务的依赖关系。ETL任务的依赖关系用于表明ETL任务是否有对应的依赖ETL任务。需要说明的是，如果ETL任务必须要等某一特定ETL任务执行完成后才能执行，则将该特定ETL任务称为该ETL任务的依赖ETL任务。进一步地，ETL任务列表是由管理服务器的管理员输入到管理服务器中的。具体实施中，从ETL任务列表中获取至少一个ETL任务作为目标ETL任务。具体地，在一实施例中，获取ETL任务的方式为：按顺序从ETL任务列表中获取ETL任务作为目标ETL任务。为了提高工作效率，可同时获取多个ETL任务并分别将获取到的多个ETL任务作为多个目标ETL任务，并分别对任一目标ETL任务执行后续流程。采用多线程技术可同时对获取到的多个ETL任务进行后续流程，各ETL任务之间相互独立，互不干扰。需要说明的是，通过采用多线程技术，应用程序可以在同一时间里使用芯片的不同部分，从而使芯片同时进行多线程处理，使芯片性能得到提升。需要说明的是，获取ET本文档来自技高网...

【技术保护点】
1.一种ETL任务调度方法，其特征在于，包括：从ETL任务列表获取ETL任务作为目标ETL任务，所述ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据所述目标ETL任务的依赖关系判断所述目标ETL任务是否存在依赖ETL任务；若所述目标ETL任务不存在依赖ETL任务，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；若所述目标ETL任务存在依赖ETL任务，根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务。

【技术特征摘要】
1.一种ETL任务调度方法，其特征在于，包括：从ETL任务列表获取ETL任务作为目标ETL任务，所述ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据所述目标ETL任务的依赖关系判断所述目标ETL任务是否存在依赖ETL任务；若所述目标ETL任务不存在依赖ETL任务，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；若所述目标ETL任务存在依赖ETL任务，根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务。2.根据权利要求1所述的ETL任务调度方法，其特征在于，所述根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务，包括：判断所述目标ETL任务的依赖ETL任务是否已经执行；若所述目标ETL任务的依赖ETL任务已经执行，判断所述目标ETL任务的依赖ETL任务的执行结果是否为执行成功；若所述目标ETL任务的依赖ETL任务的执行结果为执行成功，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；若所述目标ETL任务的依赖ETL任务的执行结果为执行失败，暂停执行所述目标ETL任务，并在记录文档中标记目标ETL任务的执行结果为依赖ETL任务执行失败。3.根据权利要求2所述的ETL任务调度方法，其特征在于，所述根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务，还包括：若所述目标ETL任务的依赖ETL任务未执行，判断距离上一次执行指定判断步骤的时间是否已经达到预设的间隔时间，其中，所述指定判断步骤为判断目标ETL任务的依赖ETL任务是否已经执行；若距离上一次执行指定判断步骤的时间已经达到预设的间隔时间，继续判断所述目标ETL任务的依赖ETL任务是否已经执行。4.根据权利要求1所述的ETL任务调度方法，其特征在于，所述ETL任务调度方法还包括：判断所述目标ETL任务是否执行成功；若所述目标ETL任务已执行成功，在记录文档中将所述目标ETL任务的执行结果标记为执行成功；若所述目标ETL任务未执行成功，从所述调度服务器所述获取所述目标ETL任务的错误信息，并将所述目标ETL任务的错误信息写入所述记录文档中。5.根据权利要求4所述的ETL任务调度方法，其特征在于，所述错误信息包含未执行成功的ETL任务的错误类型，所述记录文档中根据错误类型将未执行成功的ETL任务的错误信息划分为多个类别，所述将所述目标ETL任务的错误信息写入所述记录文档中，包括：根据所述目标ETL任务的错误信息获取所述目标ETL任务的错误类型；根据所述目标ETL任务的错误类型将所述目标ETL任务的错误信息写入所述记录文档对应的类别中。6.一种ETL任务调度装置，其特征在于，包括：第一获取单元，用于从ETL任务列表获取ETL任务...

【专利技术属性】
技术研发人员：王玉珍，陆源，魏尧东，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44