ETL任务处理方法、平台、装置、设备及存储介质制造方法及图纸

本申请涉及数据检索相关技术领域，具体涉及一种ETL任务处理方法、平台、装置、设备及存储介质。其中，ETL任务处理方法，包括：获取ETL任务的任务信息；基于所述任务信息生成通用采集脚本；基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本；针对每一个目标采集脚本，调用与所述目标采集脚本对应的ETL工具，执行ETL任务。如此设置，本申请提供的方案用户仅仅需要进行ETL任务的任务信息的录入，之后由系统针对该任务信息生成通用采集脚本，之后由脚本转换模块将该基础采集脚本转化为目标采集脚本，以调用对应的ETL工具执行任务。上述过程中无需用户掌握并进行多种目标采集脚本的录入，降低迁移成本。降低迁移成本。降低迁移成本。

【技术实现步骤摘要】
ETL任务处理方法、平台、装置、设备及存储介质


[0001]本申请涉及数据迁移、同步、传输领域
，具体涉及一种ETL任务处理方法、平台、装置、设备及存储介质。

技术介绍

[0002]市场上的ETL工具比较多，每个使用的方法都不一样，优势也不一样。
[0003]不同的ETL工具都有不同的优势，当业务系统需要进行数据的迁移、同步、传输时，需要用户基于自己的需求使用不同的ETL工具，由于每个ETL的集成工具对应的脚本的格式不一样，用户掌握多种格式脚本的撰写，基于实际情况撰写不同的脚本，导致迁移的成本高。

技术实现思路

[0004]有鉴于此，本申请的实施例致力于提供一种ETL任务处理方法、平台、装置、设备及存储介质，以降低迁移成本。
[0005]基于本申请第一方面，提供一种ETL任务处理方法，包括：
[0006]获取ETL任务的任务信息；
[0007]基于所述任务信息生成通用采集脚本；
[0008]基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本；
[0009]针对每一个目标采集脚本，调用与所述目标采集脚本对应的ETL工具，执行ETL任务。
[0010]在一些实施例中，还包括：
[0011]实时监控所述ETL任务的执行情况。
[0012]在一些实施例中，还包括：
[0013]当所述ETL任务的执行情况出现异常时，进行告警。
[0014]在一些实施例中，所述ETL工具包括：FlinkCDC工具、Sqoop工具、DATAX工具、SeeTunnel工具和DCT
‑
manager工具中的一种；
[0015]每一种ETL工具与一种目标采集脚本对应。
[0016]在一些实施例中，所述ETL任务的任务信息，包括：ETL任务的源端数据库、待加载目标源数据库和转换操作、和用于指定ETL工具的指示信息；
[0017]相对应的，所述基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本，包括：
[0018]基于预设的脚本转换模块，将所述通用采集脚本转化为与指示信息指示的ETL工具对应的目标采集脚本；
[0019]其中，所述指示信息用于指示至少一种ETL工具。
[0020]在一些实施例中，所述ETL任务的任务信息，包括：ETL任务的源端数据库、待加载目标源数据库和转换操作；
[0021]相对应的，所述基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本包括：
[0022]基于预设的脚本转换模块，将所述通用采集脚本转化为预设的目标采集脚本；或者，
[0023]基于预设的分析模型，确定所述任务信息适用的ETL工具，基于预设的脚本转换模块，将所述通用采集脚本转化为与所述任务信息适用的ETL工具对应的目标采集脚本。
[0024]基于本申请第二方面，提供一种ETL任务处理平台，包括：ETL任务发布子平台、脚本转换模组和ETL工具模组；
[0025]所述ETL任务发布子平台、用于与用户进行交互，并基于用户下发的ETL任务，生成通用采集脚本；
[0026]所述脚本转换模组，用于基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本；
[0027]所述ETL工具模组内部嵌入有多种ETL工具，用于调用与目标采集脚本对应的ETL工具。
[0028]基于本申请第三方面，提供一种ETL任务处理装置，包括：
[0029]获取模块，用于获取ETL任务的任务信息；
[0030]生成模块，用于基于所述任务信息生成通用采集脚本；
[0031]转换模块，用于基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本；
[0032]调用模块，用于针对每一个目标采集脚本，调用与所述目标采集脚本对应的ETL工具，执行ETL任务。
[0033]基于本申请第四方面，提供一种电子设备，包括：
[0034]处理器，以及用于存储所述处理器可执行程序的存储器；
[0035]所述处理器，用于通过运行所述存储器中的程序，实现本申请第一方面提供的ETL任务处理方法。
[0036]基于本申请第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行本申请第一方面提供的ETL任务处理方法。
[0037]本申请所提供的ETL任务处理方法，首先获取ETL任务的任务信息；基于所述任务信息生成通用采集脚本；基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本；针对每一个目标采集脚本，调用与所述目标采集脚本对应的ETL工具，执行ETL任务。如此设置，本申请提供的方案用户仅仅需要进行ETL任务的任务信息的录入，之后由系统针对该任务信息生成通用采集脚本，之后由脚本转换模块将该基础采集脚本转化为目标采集脚本，以调用对应的ETL工具执行任务。上述过程中无需用户掌握并进行多种目标采集脚本的录入，降低迁移成本。
附图说明
[0038]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明
书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0039]图1是本申请一个实施例提供的ETL任务处理方法的流程示意图。
[0040]图2是本申请一个实施例提供的ETL任务处理平台的流程示意图。
[0041]图3是本申请一个实施ETL任务处理流程示意图。
[0042]图4是本申请一个实施例提供的ETL任务处理装置的结构示意图。
[0043]图5是本申请一个实施例提供的电子设备结构示意图。
具体实施方式
[0044]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0045]申请概述
[0046]市场上的ETL工具比较多，每个使用的方法都不一样，优势也不一样。具体的ETL工具包括：DATAX工具，Flink CDC工具和Sqoop工具；其中，DATAX工具，支持大表能力差，支持的组件少。Flink CDC工具大表能力可以，一致性可以，但是需要大数据环境。Sqoop工具是传统的ETL工具，大表能力差。不同的ETL工具都有不同的优势，当业务系统的ETL任务需要大表的时候就会使用FlinkCDC工具，当业务系统的ETL任务适用于DATAX工具时，便可以使用DATAX工具。甚至在一些任务中需要切换不同的ETL工具，切换不同的ETL工具，就需要变更脚本，以及需要借本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ETL任务处理方法，其特征在于，包括：获取ETL任务的任务信息；基于所述任务信息生成通用采集脚本；基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本；针对每一个目标采集脚本，调用与所述目标采集脚本对应的ETL工具，执行ETL任务。2.根据权利要求1所述的ETL任务处理方法，其特征在于，还包括：实时监控所述ETL任务的执行情况。3.根据权利要求2所述的ETL任务处理方法，其特征在于，还包括：当所述ETL任务的执行情况出现异常时，进行告警。4.根据权利要求1所述的ETL任务处理方法，其特征在于，所述ETL工具包括：FlinkCDC工具、Sqoop工具、DATAX工具、SeeTunnel工具和DCT
‑
manager工具中的一种；每一种ETL工具与一种目标采集脚本对应。5.根据权利要求1所述的ETL任务处理方法，其特征在于，所述ETL任务的任务信息，包括：ETL任务的源端数据库、待加载目标源数据库和转换操作、和用于指定ETL工具的指示信息；相对应的，所述基于预设的脚本转换模块，将所述通用采集脚本转化为至少一种目标采集脚本，包括：基于预设的脚本转换模块，将所述通用采集脚本转化为与指示信息指示的ETL工具对应的目标采集脚本；其中，所述指示信息用于指示至少一种ETL工具。6.根据权利要求1所述的ETL任务处理方法，其特征在于，所述ETL任务的任务信息，包括：ETL任务的源端数据库、待加载目标源数据库和转换操作；相对应的，所述基于预设的脚本转换模块，将所述通用采集脚本转...

【专利技术属性】
技术研发人员：张道英，吴小前，
申请(专利权)人：北京滴普科技有限公司，
类型：发明
国别省市：