通过解析中文Excel文件进行数据etl的方法及装置制造方法及图纸

本发明专利技术公开了一种通过解析中文Excel文件进行数据etl的方法及装置，该方法包括：基于预设的自定义中文Excel文件开发得到etl执行引擎，所述自定义中文Excel文件中至少包括中文表头、中文提示以及表格输入约束；在自定义中文Excel文件中根据所述中文表头配置获取源数据的sql、etl数据和字段的映射方式以及处理方式；基于所述etl执行引擎解析配置好数据的所述自定义中文Excel文件，得到解析数据；基于所述etl执行引擎并根据所述解析数据执行etl。通过本发明专利技术提供的自定义中文Excel文件进行etl操作，其中，Excel的可视化界面简洁，使用率广，开发人员使用方便，上手快；Excel文件采用中文提示，便于理解；且支持在自定义中文Excel文件中写复杂的sql，突破单表到单表的数据转换的限制。限制。限制。

【技术实现步骤摘要】
通过解析中文Excel文件进行数据etl的方法及装置


[0001]本专利技术涉及数据分析
，尤其涉及一种通过解析中文Excel文件进行数据etl的方法及装置。

技术介绍

[0002]ETL(即Extract
‑
Transform
‑
Load，数据仓库技术)是将不同业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的在于将企业中分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。当前软件开发领域，需要对数据进行ETL的时候，一部分是直接使用编程语言开发，一部分使用etl工具。这两种模式有一些缺点：
[0003]1、编程模式门槛高，需要熟悉编程语言。
[0004]2、市场的etl工具，部分没有图形化界面，etl逻辑在配置文件，但是配置文件配置麻烦复杂，可读性非常差；或者有图形化界面，但是这种需要安装或者部署，也需要重新学习如何使用其界面；还有一些逻辑僵化只能支持表和表的转化，不够灵活。

技术实现思路

[0005]为此，本专利技术目的在于至少一定程度上解决现有技术中的不足，从而提出一种通过解析中文Excel文件进行数据etl的方法及装置。
[0006]第一方面，本专利技术提供了一种通过解析中文Excel文件进行数据etl的方法，所述方法包括：
[0007]基于预设的自定义中文Excel文件开发得到etl执行引擎，所述自定义中文Excel文件中至少包括中文表头、中文提示以及表格输入约束；
[0008]在所述自定义中文Excel文件中根据所述中文表头配置获取源数据的sql、etl数据和字段的映射方式以及数据处理方式；
[0009]基于所述etl执行引擎解析配置好数据的所述自定义中文Excel文件，得到解析数据；
[0010]基于所述etl执行引擎并根据所述解析数据执行etl。
[0011]第二方面，本专利技术提供了一种通过解析中文Excel文件进行数据etl的装置，所述装置包括：
[0012]定义模块：用于基于预设的自定义中文Excel文件开发得到etl执行引擎，所述自定义中文Excel文件中至少包括中文表头、中文提示以及表格输入约束；
[0013]配置模块：用于在所述自定义中文Excel文件中根据所述中文表头配置获取源数据的sql、etl数据和字段的映射方式以及数据处理方式；
[0014]解析模块：用于基于所述etl执行引擎解析配置好数据的所述自定义中文Excel文件，得到解析数据；
[0015]执行模块：用于基于所述etl执行引擎并根据所述解析数据执行etl。
[0016]第三方面，本专利技术还提供了一种通过解析中文Excel文件进行数据etl的设备，包
括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面所述的通过解析中文Excel文件进行数据etl的方法中的各个步骤。
[0017]第四方面，本专利技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的通过解析中文Excel文件进行数据etl的方法中的各个步骤。
[0018]本专利技术提供了一种通过解析中文Excel文件进行数据etl的方法及装置，该方法包括：基于预设的自定义中文Excel文件开发得到etl执行引擎，所述自定义中文Excel文件中至少包括中文表头、中文提示以及表格输入约束；在所述自定义中文Excel文件中根据所述中文表头配置获取源数据的sql、etl数据和字段的映射方式以及数据处理方式；基于所述etl执行引擎解析配置好数据的所述自定义中文Excel文件，得到解析数据；基于所述etl执行引擎并根据所述解析数据执行etl。通过本专利技术提供的自定义中文Excel文件进行etl操作，其中，Excel的可视化界面简洁，使用率广，开发人员使用方便，上手快；Excel文件采用中文提示，便于理解；且支持在自定义中文Excel文件中写复杂的sql，突破单表到单表的数据转换的限制。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0020]图1为本专利技术的通过解析中文Excel文件进行数据etl的方法的流程示意图；
[0021]图2为本专利技术的通过解析中文Excel文件进行数据etl的方法的获取源数据的sql的配置界面示意图；
[0022]图3为本专利技术的通过解析中文Excel文件进行数据etl的方法的etl数据的配置界面示意图；
[0023]图4为本专利技术的通过解析中文Excel文件进行数据etl的方法的目标字段以及处理方式的配置界面示意图；
[0024]图5为本专利技术的通过解析中文Excel文件进行数据etl的装置的程序模块示意图。
具体实施方式
[0025]为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]请参照图1，图1是本申请实施例中通过解析中文Excel文件进行数据etl的流程示意图，在本实施例中，上述通过解析中文Excel文件进行数据etl的方法包括：
[0027]步骤101、基于预设的自定义中文Excel文件开发得到etl执行引擎，所述自定义中文Excel文件中至少包括中文表头、中文提示以及表格输入约束。
[0028]在本实施例中，基于预设的自定义中文Excel文件模板开发可得到etl执行引擎，其中，自定义中文Excel文件是提前定义好的中文模板文件，模板中包括的中文表头和中文提示都不可修改，其中，采用中文提示可便于理解，而表格输入约束则是有些表格是下拉框模式，只能在提前定义好的几个中文选项里面选择。具体地，自定义中文Excel文件模板，然后基于该模板定义etl操作，因Excel的可视化界面简洁，使用率广，开发人员使用方便，上手快。
[0029]步骤102、在所述自定义中文Excel文件中根据所述中文表头配置获取源数据的sql、etl数据和字段的映射方式以及数据处理方式。
[0030]在本实施例中，针对关系型数据库数据，基于自定义中文Excel文件模板开发etl时，在自定义中文Excel文件模板上配置好数据查询sql，需根据自定义中文Excel文件的中文表头在自定义中文Excel文件中配置获取源数据的sql、etl数据和字段的映射方式以及处理方式，从而可获取到etl执行引擎进行数据etl的执行。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过解析中文Excel文件进行数据etl的方法，其特征在于，所述方法包括：基于预设的自定义中文Excel文件开发得到etl执行引擎，所述自定义中文Excel文件中至少包括中文表头、中文提示以及表格输入约束；在所述自定义中文Excel文件中根据所述中文表头配置获取源数据的sql、etl数据和字段的映射方式以及数据处理方式；基于所述etl执行引擎解析配置好数据的所述自定义中文Excel文件，得到解析数据；基于所述etl执行引擎并根据所述解析数据执行etl。2.根据权利要求1所述的方法，其特征在于，所述sql采用mybatis模式。3.根据权利要求1所述的方法，其特征在于，所述获取源数据的sql至少包括sql id、数据库id、sql内容以及参数。4.根据权利要求1所述的方法，其特征在于，所述etl数据至少包括etl id、目标表、目标数据库id以及入库方式。5.根据权利要求1所述的方法，其特征在于，所述字段的映射方式还包括目标字段、sql返回字段；所述数据处理方式包括Java函数、数据字典转换和常量。6.根据权利要求1所述的方法，其特征在于，所述基于所述etl执行引擎解析配置好数据的所述自定义中文Excel文件，得到解析数据，包括：读取配置好数据的所述自定义中文Excel文件，解析得到所述中文Excel所配置的所述获取源数据的sql、etl数据和字段的映射方式以及处理方式。7.根据权利要求4所述的方...

【专利技术属性】
技术研发人员：汪维，
申请(专利权)人：深圳市思迪信息技术股份有限公司，
类型：发明
国别省市：