一种ETL数据处理方法、装置、介质及设备制造方法及图纸

本发明专利技术公开了一种ETL数据处理方法，包括：响应用户的选择指令，确定与ETL任务对应的多个目标组件；配置多个目标组件；确定多个目标组件之间的连接线，以及执行顺序；基于多个目标组件、多个目标组件的执行顺序以及多个目标组件之间的连接线生成ETL规则；解析每个目标组件的配置参数，生成与目标组件对应的结构化查询语言SQL语句；根据所述ETL规则，并基于每个目标组件对应的结构化查询语言SQL语句，得到最终查询语句；执行所述最终查询语句，以完成对数据的处理。本发明专利技术通过拖拽自定义ETL任务步骤配置项，实现ETL任务步骤自由组合，动态将ETL任务转换结构化查询语言SQL语句，并执行该语句，该方案简便直观，满足了ETL操作过程中用户对于操作步骤的自定义要求。用户对于操作步骤的自定义要求。用户对于操作步骤的自定义要求。

【技术实现步骤摘要】
一种ETL数据处理方法、装置、介质及设备


[0001]本专利技术涉及大数据
，具体涉及一种ETL数据处理方法、装置、介质及设备。

技术介绍

[0002]在数据治理中，数据汇集得到的数据需要经由ETL操作进一步规范化，从而得以合并到一个企业级的数据仓库里，进而得到企业数据的一个全局视图。
[0003]然而ETL操作中，一方面用户的处理需求种类是多样的，用户对于处理步骤的组合和执行顺序需要拥有较高程度的定义能力。另一方面，ETL处理时需要支持全量和增量两种运行模式，其中增量运行下，需要结合业务需求，实现一定时间区间内数据的ETL操作。然而目前数据治理平台中难以寻觅满足以上需要并和平台集成良好的ETL处理方案。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种ETL数据处理方法、装置、介质及设备，用于解决现有技术中的至少一个缺陷。
[0005]为实现上述目的及其他相关目的，本专利技术提供一种ETL数据处理方法，包括：
[0006]响应用户的选择指令，确定与ETL任务对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ETL数据处理方法，其特征在于，包括：响应用户的选择指令，确定与ETL任务对应的多个目标组件；配置所述多个目标组件；确定所述多个目标组件之间的连接线，以及执行顺序；所述连接线用于指示所述多个目标组件之间的数据流向；基于多个目标组件、多个目标组件的执行顺序以及所述多个目标组件之间的连接线生成ETL规则；解析每个所述目标组件的配置参数，生成与目标组件对应的结构化查询语言SQL语句；根据所述ETL规则，并基于每个所述目标组件对应的结构化查询语言SQL语句，得到最终查询语句；执行所述最终查询语句，以完成对数据的处理。2.根据权利要求1所述的ETL数据处理方法，其特征在于，所述ETL流程中的步骤包括以下至少之一：去重操作、数值转换、字符串操作、字符串转换、值映射。3.根据权利要求1所述的ETL数据处理方法，其特征在于，所述根据所述ETL规则，并基于每个所述目标组件对应的结构化查询语言SQL语句，得到最终查询语句，包括：按照所述ETL规则对所述结构化查询语言SQL语句进行嵌套，得到最终查询语句。4.根据权利要求3所述的ETL数据处理方法，其特征在于，在对所述结构化查询语言SQL语句进行嵌套时，通过select子查询的方式，按照所述ETL规则对所述结构化查询语言SQL语句进行嵌套。5.根据权利要求1所述的ETL数据处理方法，其特征在于，在生成ETL规则后，还包括：对所述ETL规则进行校验。6.根据权利要求5所述的ETL数据处理方法，其特征在于，所述对所述ETL规则进行校验，包括：根据预先建立的组件依赖关系列表判断相邻两个目标组件间是否存在依赖关系；若相邻两个目标组件间不存在所述依赖关系，则校验不通过；若相邻两个目标组件间存在所述依赖关系，则校验通过。7.根据权利要求5所述的ETL数据处理方法，其特征在于，所述对所述ETL规则进行校验，包括：判断相邻两个目标组件间是否存在连接线，以及多个连接线指示的数据流向是否相同；若相邻两个目标组件间存在连接线且多个连接线指示的数据流向相同，则校验通过；否则，则校验不通过。8.根据权利要求5所述的ETL数据处理方法，其特征在于，每执行一个ETL任务中的步骤后，生成一个数据表，所述对所述ETL规则进行校验，包括：判断相邻两个步骤执行完后生成的数据表的类型是否相同；若相邻两个步骤执行完后生成的数据表的类型相同，则校验不通过，若相邻两个步骤执行完后生成的数据表的类型不相同，则校验通过。...

【专利技术属性】
技术研发人员：崔一飚，
申请(专利权)人：江苏云从曦和人工智能有限公司，
类型：发明
国别省市：