数据仓库配置文档的生成方法、装置、设备和存储介质制造方法及图纸

本申请提供一种数据仓库配置文档的生成方法、装置、设备和存储介质，可应用于大数据领域或金融领域，方法包括，导入基于结构化查询语言(StructuredQueryLanguage，sql)编写的生产脚本；根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理生产脚本，获得数据仓库的配置文档；其中，数据仓库的配置文档包括物理数据模型文档和数据源映射文档；展示数据仓库的配置文档。本方案通过处理生产脚本，自动生成数据仓库的配置文档，提高了构建和使用数据仓库的效率。提高了构建和使用数据仓库的效率。提高了构建和使用数据仓库的效率。

【技术实现步骤摘要】
数据仓库配置文档的生成方法、装置、设备和存储介质


[0001]本专利技术涉及数据仓库
，特别涉及一种数据仓库配置文档的生成方法、装置、设备和存储介质。

技术介绍

[0002]数据仓库系统是大数据使用和管理中常用的一种系统，利用数据仓库系统可以将海量的大数据整理成多种形式的数据表，以供外部的应用程序调取使用。
[0003]在构建和使用数据仓库时，数据仓库的配置文档(具体包括物理数据模型文档和数据源映射文档)起到了关键作用。然而目前配置文档普遍依赖开发人员编辑得到。

技术实现思路

[0004]针对上述现有技术的缺点，本专利技术提供一种数据仓库配置文档的生成方法、装置、设备和存储介质，以提供一种自动生成配置文档的方法。
[0005]本申请第一方面提供一种数据仓库配置文档的生成方法，包括：
[0006]导入基于结构化查询语言(Structured Query Language，sql)编写的生产脚本；
[0007]根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理所述生产脚本，获得所述数据仓库的配置文档；其中，所述数据仓库的配置文档包括物理数据模型文档和数据源映射文档；
[0008]展示所述数据仓库的配置文档。
[0009]可选的，所述根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理所述生产脚本，获得所述数据仓库的配置文档，包括：
[0010]识别所述生产脚本的脚本名称，以确定所述生产脚本属于所述应用接口层、应用计算层和共性加工层中的任意一层，或者属于所述整合模型层；
[0011]若所述生产脚本属于所述应用接口层、应用计算层和共性加工层中的任意一层，根据第一处理逻辑处理所述生产脚本，获得所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档；
[0012]若所述生产脚本属于所述整合模型层，根据第二处理逻辑处理所述生产脚本，获得所述整合模型层的配置文档。
[0013]可选的，所述根据第一处理逻辑处理所述生产脚本，获得所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档，包括：
[0014]识别所述生产脚本中的临时表的表信息和实体表的表信息；其中，所述表信息包括分布键，过滤条件和分组条件；
[0015]根据所述临时表的表信息和所述实体表的表信息识别表关联关系和字段处理逻辑；
[0016]根据所述表关联关系和所述字段处理逻辑生成所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档。
[0017]可选的，所述根据第二处理逻辑处理所述生产脚本，获得所述整合模型层的配置文档，包括：
[0018]根据所述生产脚本的脚本名称的后四位识别得到ETL任务名和映射组号；其中，ETL为抽取
‑
转换
‑
加载(Extract Transform Load)的缩写；
[0019]根据所述ETL任务名和所述映射组号，确定目标表字段的字段信息和源表字段的字段信息；其中，所述字段信息包括字段名称，字段长度和字段处理规则；
[0020]根据所述目标表字段的字段信息和所述源表字段的字段信息生成所述整合模型层的配置文档。
[0021]本申请第二方面提供一种数据仓库配置文档的生成装置，包括：
[0022]导入单元，用于导入基于结构化查询语言(Structured Query Language，sql)编写的生产脚本；
[0023]处理单元，用于根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理所述生产脚本，获得所述数据仓库的配置文档；其中，所述数据仓库的配置文档包括物理数据模型文档和数据源映射文档；
[0024]展示单元，用于展示所述数据仓库的配置文档。
[0025]可选的，所述处理单元根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理所述生产脚本，获得所述数据仓库的配置文档时，具体用于：
[0026]识别所述生产脚本的脚本名称，以确定所述生产脚本属于所述应用接口层、应用计算层和共性加工层中的任意一层，或者属于所述整合模型层；
[0027]若所述生产脚本属于所述应用接口层、应用计算层和共性加工层中的任意一层，根据第一处理逻辑处理所述生产脚本，获得所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档；
[0028]若所述生产脚本属于所述整合模型层，根据第二处理逻辑处理所述生产脚本，获得所述整合模型层的配置文档。
[0029]可选的，所述处理单元根据第一处理逻辑处理所述生产脚本，获得所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档时，具体用于：
[0030]识别所述生产脚本中的临时表的表信息和实体表的表信息；其中，所述表信息包括分布键，过滤条件和分组条件；
[0031]根据所述临时表的表信息和所述实体表的表信息识别表关联关系和字段处理逻辑；
[0032]根据所述表关联关系和所述字段处理逻辑生成所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档。
[0033]可选的，所述处理单元根据第二处理逻辑处理所述生产脚本，获得所述整合模型层的配置文档时，具体用于：
[0034]根据所述生产脚本的脚本名称的后四位识别得到ETL任务名和映射组号；其中，ETL为抽取
‑
转换
‑
加载(Extract Transform Load)的缩写；
[0035]根据所述ETL任务名和所述映射组号，确定目标表字段的字段信息和源表字段的字段信息；其中，所述字段信息包括字段名称，字段长度和字段处理规则；
[0036]根据所述目标表字段的字段信息和所述源表字段的字段信息生成所述整合模型
层的配置文档。
[0037]本申请第三方面提供一种电子设备，包括存储器和处理器；
[0038]其中，所述存储器用于存储计算机程序；
[0039]所述处理器用于执行所述计算机程序，所述计算机程序被执行时，具体用于实现本申请第一方面任意一项所提供的数据仓库配置文档的生成方法。
[0040]本申请第四方面提供一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，具体用于实现本申请第一方面任意一项所提供的数据仓库配置文档的生成方法。
[0041]本申请提供一种数据仓库配置文档的生成方法、装置、设备和存储介质，可应用于大数据领域或金融领域，方法包括，导入基于结构化查询语言(Structured Query Language，sql)编写的生产脚本；根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理生产脚本，获得数据仓库的配置文档；其中，数据仓库的配置文档包括物理数据模型文档和数据源映射文档；展示数据仓库的配置文档。本方案通过处理生产脚本，自动生成数据仓库的配置文档，提高了构建和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库配置文档的生成方法，其特征在于，包括：导入基于结构化查询语言(Structured Query Language，sql)编写的生产脚本；根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理所述生产脚本，获得所述数据仓库的配置文档；其中，所述数据仓库的配置文档包括物理数据模型文档和数据源映射文档；展示所述数据仓库的配置文档。2.根据权利要求1所述的方法，其特征在于，所述根据数据仓库中应用接口层、应用计算层、共性加工层、整合模型层对应的处理逻辑处理所述生产脚本，获得所述数据仓库的配置文档，包括：识别所述生产脚本的脚本名称，以确定所述生产脚本属于所述应用接口层、应用计算层和共性加工层中的任意一层，或者属于所述整合模型层；若所述生产脚本属于所述应用接口层、应用计算层和共性加工层中的任意一层，根据第一处理逻辑处理所述生产脚本，获得所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档；若所述生产脚本属于所述整合模型层，根据第二处理逻辑处理所述生产脚本，获得所述整合模型层的配置文档。3.根据权利要求2所述的方法，其特征在于，所述根据第一处理逻辑处理所述生产脚本，获得所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档，包括：识别所述生产脚本中的临时表的表信息和实体表的表信息；其中，所述表信息包括分布键，过滤条件和分组条件；根据所述临时表的表信息和所述实体表的表信息识别表关联关系和字段处理逻辑；根据所述表关联关系和所述字段处理逻辑生成所述应用接口层、应用计算层和共性加工层中的任意一层的配置文档。4.根据权利要求2所述的方法，其特征在于，所述根据第二处理逻辑处理所述生产脚本，获得所述整合模型层的配置文档，包括：根据所述生产脚本的脚本名称的后四位识别得到ETL任务名和映射组号；其中，ETL为抽取
‑
转换
‑
加载(Extract Transform Load)的缩写；根据所述ETL任务名和所述映射组号，确定目标表字段的字段信息和源表字段的字段信息；其中，所述字段信息包括字段名称，字段长度和字段处理规则；根据所述目标表字段的字段信息和所述源表字段的字段信息生成所述整合模型层的配置文档。5.一种数据仓库配置文档的生成装置，其特征在于，包括：导入单元，用于导入基于结构化查询语言(Structured Query Language，sql)编写的生产脚本；处理单元，用于根据数据仓库中应用接口层、应用计算层、共性加工层、整合模...

【专利技术属性】
技术研发人员：金悦，刘冰琳，陈倩文，汪兰叶，齐佳敏，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：