ETL文件拆分方法及装置制造方法及图纸

本发明专利技术公开了一种ETL文件拆分方法及装置，涉及自动程序设计的技术领域，其中该方法包括：根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。本发明专利技术涉及自动程序设计的技术领域，本发明专利技术实施例分别提取ETL文件中多个ETL作业的系统设置信息和加工配置信息，将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件，从而有效实现对ETL文件的拆分，便于使用者操作及运维。

【技术实现步骤摘要】
ETL文件拆分方法及装置
本专利技术涉及自动程序设计的
，尤其涉及一种ETL文件拆分方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，ETL是BI(商业智能)项目一个重要的环节。ETL的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，并运用其内置的metadata功能来存储来源与目的的对应(mapping)以及转换规则。例如，DataStage就是IBM公司的一种数据集成软件平台，帮助进行ETL加工，DSJOB是DataStage软件生成的ETL作业JOB。在实际应用中，会对不同的场景及应用进行多个不同的ETL加工。但是在集中导出这些ETL加工时，所有的ETL作业都会生成在同一个ETL文件下，这不便于使用者操作及运维。现有技术提供一种配置文件的合并、拆分处理方法，该方法包括：通过预先根据软件系统中各个主机角色的主机角色标识，对各个主机角色对应的配置项进行标注，当需要将配置文件写入生产环境的时候，将软件系统中各个主机角色对应的配置文件中包含的配置项进行合并处理，生成主机对应的配置文件；当需要从生产环境采集会配置文件的时候，根据主机的角色列表，对主机的配置文件中包含的配置项进行拆分处理，生成各个主机角色对应的配置文件。该方法在将软件系统中不同主机角色部署于同一台主机的情况下，能够根据生产环境的主机角色划分实时合并多个主机角色的配置文件，或根据生产环境的主机角色划分实时拆分出不同主机角色各自的配置项。然而，该方法只适用于简单的配置文件拆分，且只是对不同主机的配置文件进行拆分，不适用于对复杂的ETL文件的拆分。
技术实现思路
本专利技术实施例提供一种ETL文件拆分方法，用以有效实现对ETL文件的拆分，该方法包括：根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。实施例中，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息，包括：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的系统设置信息；和/或，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息，包括：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的加工配置信息。实施例中，分别提取ETL文件中多个ETL作业的系统设置信息和加工配置信息之前，还包括：判断ETL文件的格式是否正确；在ETL文件的格式不正确时，重新读取ETL文件。实施例中，系统设置信息包括如下信息其中之一或任意组合：导出工具信息、工具版本、主机名、工具工程名、MDI版本、系统时间及服务器版本。实施例中，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息，包括：通过关键字查找ETL文件中多个ETL作业的系统设置信息。实施例中，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息，包括：通过关键字查找ETL文件中多个ETL作业的加工配置信息。实施例中，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息之后，还包括：将提取出的多个ETL作业的系统设置信息存入第一临时文本文件；根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息之后，还包括：将提取出的多个ETL作业的加工配置信息存入第二临时文本文件；将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件，包括：分别从第一临时文本文件提取每个ETL作业的系统设置信息，分别从第二临时文本文件提取每个ETL作业的加工配置信息。实施例中，提取ETL作业的加工配置信息之后，还包括：从ETL作业的加工配置信息中提取ETL作业的名称；根据ETL作业的名称确定ETL作业对应的ETL文件名。本专利技术实施例还提供一种ETL文件拆分装置，用以有效实现对ETL文件的拆分，该装置包括：系统设置信息提取模块，用于根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；加工配置信息提取模块，用于根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；ETL文件拼接模块，用于将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。实施例中，系统设置信息提取模块具体用于：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的系统设置信息；和/或，所述加工配置信息提取模块具体用于：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的加工配置信息。实施例中，该装置还包括文件读取模块，用于读取ETL文件，判断ETL文件的格式是否正确；在ETL文件的格式不正确时，重新读取ETL文件。实施例中，系统设置信息提取模块中的系统设置信息包括如下信息其中之一或任意组合：导出工具信息、工具版本、主机名、工具工程名、MDI版本、系统时间及服务器版本。实施例中，系统设置信息提取模块具体用于：通过关键字查找ETL文件中多个ETL作业的系统设置信息。实施例中，加工配置信息提取模块具体用于：通过关键字查找ETL文件中多个ETL作业的加工配置信息。实施例中，该装置还包括存储模块，用于将提取出的多个ETL作业的系统设置信息存入第一临时文本文件；将提取出的多个ETL作业的加工配置信息存入第二临时文本文件；ETL文件拼接模块具体用于：分别从第一临时文本文件提取每个ETL作业的系统设置信息，分别从第二临时文本文件提取每个ETL作业的加工配置信息。实施例中，加工配置信息提取模块还具体用于：从ETL作业的加工配置信息中提取ETL作业的名称；根据ETL作业的名称确定ETL作业对应的ETL文件名。本专利技术实施例还提供一种计算机设备，用以有效实现对ETL文件的拆分，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述ETL文件拆分方法。本专利技术实施例还提供一种计算机可读存储介质，用以有效实现对ETL文件的拆分，所述计算机可读存储介质存储有执行上述ETL文件拆分方法的计算机程序。本文档来自技高网...

【技术保护点】
1.一种ETL文件拆分方法，其特征在于，包括：/n根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；/n根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；/n将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。/n

【技术特征摘要】
1.一种ETL文件拆分方法，其特征在于，包括：
根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；
根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；
将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。


2.如权利要求1所述的方法，其特征在于，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息，包括：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的系统设置信息；
和/或，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息，包括：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的加工配置信息。


3.如权利要求1所述的方法，其特征在于，分别提取ETL文件中多个ETL作业的系统设置信息和加工配置信息之前，还包括：
判断ETL文件的格式是否正确；
在ETL文件的格式不正确时，重新读取ETL文件。


4.如权利要求1所述的方法，其特征在于，所述系统设置信息包括如下信息其中之一或任意组合：
导出工具信息、工具版本、主机名、工具工程名、MDI版本、系统时间及服务器版本。


5.如权利要求1所述的方法，其特征在于，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息，包括：
通过关键字查找ETL文件中多个ETL作业的系统设置信息。


6.如权利要求1所述的方法，其特征在于，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息，包括：
通过关键字查找ETL文件中多个ETL作业的加工配置信息。


7.如权利要求1至6任一项所述的方法，其特征在于，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息之后，还包括：
将提取出的多个ETL作业的系统设置信息存入第一临时文本文件；
根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息之后，还包括：
将提取出的多个ETL作业的加工配置信息存入第二临时文本文件；
将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件，包括：
分别从第一临时文本文件提取每个ETL作业的系统设置信息，分别从第二临时文本文件提取每个ETL作业的加工配置信息。


8.如权利要求1至6任一项所述的方法，其特征在于，提取ETL作业的加工配置信息之后，还包括：
从ETL作业的加工配置信息中提取ETL作业的名称；
根据ETL作业的名称确定ETL作业对应的ETL文件名。

<...

【专利技术属性】
技术研发人员：丁鹏里，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11