ETL脚本生成方法、装置、设备和计算机可读介质制造方法及图纸

本发明专利技术公开了ETL脚本生成方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：根据文档配置信息解析文档，整合文档中数据表级信息和字段级信息以生成数据源配置文件；遍历所述文档配置信息中的工作表并校验工作表配置信息后，根据所述工作表确定数据合并操作和建立数据列表，以构建脚本输出模板；解析所述数据源配置文件以按照数据表级信息和字段级信息定位字段，基于所述字段的源类型确定转换数据参数，结合所述源类型对应的逻辑处理算子处理转换数据参数后的字段，并将字段处理结果填充所述脚本输出模板，生成ETL脚本。该实施方式能够提高ETL脚本开发的可扩展性和适应性。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种etl脚本生成方法、装置、设备和计算机可读介质。

技术介绍

1、在当今的数据驱动时代，etl（extract-transform-load）程序已成为企业和组织处理和分析大量数据的关键工具。

2、在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：手动编写和维护etl脚本不仅耗时且容易出错，而且在面对不断增长的数据量和数据复杂性，etl脚本的可扩展性难以满足需求。

技术实现思路

1、有鉴于此，本专利技术实施例提供一种etl脚本生成方法、装置、设备和计算机可读介质，能够提高etl脚本的可扩展性和适应性。

2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种etl脚本生成方法，包括：

3、根据文档配置信息解析文档，整合文档中数据表级信息和字段级信息以生成数据源配置文件；

4、遍历所述文档配置信息中的工作表并校验工作表配置信息后，根据所述工作表确定数据合并操作和建立数据列表，以构建脚本输出模板；

5本文档来自技高网...

【技术保护点】

1.一种ETL脚本生成方法，其特征在于，包括：

2.根据权利要求1所述ETL脚本生成方法，其特征在于，所述根据文档配置信息解析文档，整合文档中数据表级信息和字段级信息以生成数据源配置文件，包括：

3.根据权利要求2所述ETL脚本生成方法，其特征在于，所述根据文档配置信息中待处理文档列表解析文档，提取待处理文档的数据表级信息并将所述待处理文档存储至待处理文档列表中，包括：

4.根据权利要求2所述ETL脚本生成方法，其特征在于，所述基于待处理文档的数据表级信息，调用文档提取函数在所述待处理文档列表中的待处理文档中提取字段信息，包括：p>

5.根据权...

【技术特征摘要】

1.一种etl脚本生成方法，其特征在于，包括：

2.根据权利要求1所述etl脚本生成方法，其特征在于，所述根据文档配置信息解析文档，整合文档中数据表级信息和字段级信息以生成数据源配置文件，包括：

3.根据权利要求2所述etl脚本生成方法，其特征在于，所述根据文档配置信息中待处理文档列表解析文档，提取待处理文档的数据表级信息并将所述待处理文档存储至待处理文档列表中，包括：

4.根据权利要求2所述etl脚本生成方法，其特征在于，所述基于待处理文档的数据表级信息，调用文档提取函数在所述待处理文档列表中的待处理文档中提取字段信息，包括：

5.根据权利要求1所述etl脚本生成方法，其特征在于，所述遍历所述文档配置信息中的工作表校验工作表配置信息后，根据所述工作表确定数据...

【专利技术属性】
技术研发人员：孟宪帅，和冲宇，吕国豪，周梦溪，丰保疆，陈景超，王芃，袁明禹，谢伟超，
申请(专利权)人：中国证券登记结算有限责任公司，
类型：发明
国别省市：