本申请提供一种梳理数据仓库依赖关系的方法、装置、设备和存储介质，可应用于大数据领域或金融领域，数据仓库系统包括应用接口层，应用计算层，共性加工层，整合模型层和技术缓冲层，方法包括，获取数据仓库系统的数据源映射文档；解析数据源映射文档，并根据数据源映射文档梳理数据仓库系统中除技术缓冲层以外每层的数据表依赖关系，获得记录数据表依赖关系的工作流配置文档；在数据表依赖关系的基础上，解析各个数据表的字段来源，获得记录字段依赖关系的血缘关系文档。本方案通过解析数据仓库系统的数据源映射文档自动梳理得到数据表依赖关系和字段依赖关系，提高了维护数据仓库系统的效率。库系统的效率。库系统的效率。
【技术实现步骤摘要】
梳理数据仓库依赖关系的方法、装置、设备和存储介质
[0001]本专利技术涉及数据仓库
，特别涉及一种梳理数据仓库依赖关系的方法、装置、设备和存储介质。
技术介绍
[0002]数据仓库系统是大数据使用和管理中常用的一种系统，利用数据仓库系统可以将海量的大数据整理成多种形式的数据表，以供外部的应用程序调取使用。
[0003]在数据仓库系统的日常维护中，数据仓库内的依赖关系(具体包括数据表依赖关系和字段依赖关系)起到关键作用。然而现有的技术方案中，数据仓库系统的依赖关系往往依赖人工梳理得到，因此显著影响了数据仓库系统日常维护的效率。
技术实现思路
[0004]针对上述现有技术的缺点，本专利技术提供一种梳理数据仓库依赖关系的方法、装置、设备和存储介质，以提供一种自动梳理依赖关系的方案。
[0005]本申请第一方面提供一种梳理数据仓库依赖关系的方法，包括：
[0006]获取数据仓库系统的数据源映射文档；其中，所述数据仓库系统包括应用接口层，应用计算层，共性加工层，整合模型层和技术缓冲层；
[0007]解析所述数据源映射文档，并根据所述数据源映射文档梳理所述数据仓库系统中除所述技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档；其中，所述工作流配置文档用于记录所述数据表依赖关系；
[0008]在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档；其中，所述血缘关系文档用于记录所述数据仓库中除所述技术缓冲层以外每层的字段依赖关系。
[0009]可选的，所述解析所述数据源映射文档，并根据所述数据源映射文档梳理所述数据仓库系统中除所述技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档，包括：
[0010]解析所述数据源映射文档，获得所述应用接口层、所述应用计算层和所述共性加工层中每一层的数据表的表间关联信息；
[0011]根据所述表间关联信息梳理得到所述应用接口层、所述应用计算层和所述共性加工层中每一层的数据表的数据表依赖关系；
[0012]解析所述数据源映射文档，获得所述整合模型层中每一数据表对应的源表名称；
[0013]根据所述整合模型层中每一数据表对应的源表名称梳理得到所述整合模型层中每一数据表的数据表依赖关系；
[0014]整合每一数据表的数据表依赖关系，生成工作流配置文档。
[0015]可选的，所述在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档，包括：
[0016]针对所述应用接口层、所述应用计算层、所述共性加工层和所述整合模型层中每
一数据表，比对所述数据表的字段的内容和所述数据表对应的前置数据表的字段的内容，从而确定所述数据表的字段来源；
[0017]整合每一数据表的字段来源，生成血缘关系文档。
[0018]可选的，所述在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档之后，还包括：
[0019]当需要更新版本时，将新版本的工作流配置文档和血缘关系文档，以及旧版本的工作流配置文档和血缘关系文档进行比对，确定所述新版本和所述旧版本的数据表差异和字段差异；
[0020]根据所述数据表差异和字段差异生成用于更新数据表和字段的数据库脚本，所述数据库脚本用于在部署所述新版本时被执行。
[0021]本申请提供一种梳理数据仓库依赖关系的装置，包括：
[0022]获取单元，用于获取数据仓库系统的数据源映射文档；其中，所述数据仓库系统包括应用接口层，应用计算层，共性加工层，整合模型层和技术缓冲层；
[0023]梳理单元，用于解析所述数据源映射文档，并根据所述数据源映射文档梳理所述数据仓库系统中除所述技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档；其中，所述工作流配置文档用于记录所述数据表依赖关系；
[0024]解析单元，用于在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档；其中，所述血缘关系文档用于记录所述数据仓库中除所述技术缓冲层以外每层的字段依赖关系。
[0025]可选的，所述梳理单元解析所述数据源映射文档，并根据所述数据源映射文档梳理所述数据仓库系统中除所述技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档时，具体用于：
[0026]解析所述数据源映射文档，获得所述应用接口层、所述应用计算层和所述共性加工层中每一层的数据表的表间关联信息；
[0027]根据所述表间关联信息梳理得到所述应用接口层、所述应用计算层和所述共性加工层中每一层的数据表的数据表依赖关系；
[0028]解析所述数据源映射文档，获得所述整合模型层中每一数据表对应的源表名称；
[0029]根据所述整合模型层中每一数据表对应的源表名称梳理得到所述整合模型层中每一数据表的数据表依赖关系；
[0030]整合每一数据表的数据表依赖关系，生成工作流配置文档。
[0031]可选的，所述解析单元在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档时，具体用于：
[0032]针对所述应用接口层、所述应用计算层、所述共性加工层和所述整合模型层中每一数据表，比对所述数据表的字段的内容和所述数据表对应的前置数据表的字段的内容，从而确定所述数据表的字段来源；
[0033]整合每一数据表的字段来源，生成血缘关系文档。
[0034]可选的，所述装置还包括：
[0035]脚本单元，用于：
[0036]当需要更新版本时，将新版本的工作流配置文档和血缘关系文档，以及旧版本的
工作流配置文档和血缘关系文档进行比对，确定所述新版本和所述旧版本的数据表差异和字段差异；
[0037]根据所述数据表差异和字段差异生成用于更新数据表和字段的数据库脚本，所述数据库脚本用于在部署所述新版本时被执行。
[0038]本申请第三方面提供一种电子设备，包括存储器和处理器；
[0039]其中，所述存储器用于存储计算机程序；
[0040]所述处理器用于执行所述计算机程序，所述计算机程序被执行时，具体用于实现本申请第一方面任意一项所提供的梳理数据仓库依赖关系的方法。
[0041]本申请第四方面提供一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，具体用于实现本申请第一方面任意一项所提供的梳理数据仓库依赖关系的方法。
[0042]本申请提供一种梳理数据仓库依赖关系的方法、装置、设备和存储介质，方法包括，获取数据仓库系统的数据源映射文档；其中，数据仓库系统包括应用接口层，应用计算层，共性加工层，整合模型层和技术缓冲层；解析数据源映射文档，并根据数据源映射文档梳理数据仓库系统中除技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档；其中，工作流配置文档用于记录数据表依赖关系；在数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档；其中，血缘关系文档用于记录数据仓库中除技术缓本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种梳理数据仓库依赖关系的方法，其特征在于，包括：获取数据仓库系统的数据源映射文档；其中，所述数据仓库系统包括应用接口层，应用计算层，共性加工层，整合模型层和技术缓冲层；解析所述数据源映射文档，并根据所述数据源映射文档梳理所述数据仓库系统中除所述技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档；其中，所述工作流配置文档用于记录所述数据表依赖关系；在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档；其中，所述血缘关系文档用于记录所述数据仓库中除所述技术缓冲层以外每层的字段依赖关系。2.根据权利要求1所述的方法，其特征在于，所述解析所述数据源映射文档，并根据所述数据源映射文档梳理所述数据仓库系统中除所述技术缓冲层以外每层的数据表依赖关系，获得工作流配置文档，包括：解析所述数据源映射文档，获得所述应用接口层、所述应用计算层和所述共性加工层中每一层的数据表的表间关联信息；根据所述表间关联信息梳理得到所述应用接口层、所述应用计算层和所述共性加工层中每一层的数据表的数据表依赖关系；解析所述数据源映射文档，获得所述整合模型层中每一数据表对应的源表名称；根据所述整合模型层中每一数据表对应的源表名称梳理得到所述整合模型层中每一数据表的数据表依赖关系；整合每一数据表的数据表依赖关系，生成工作流配置文档。3.根据权利要求1所述的方法，其特征在于，所述在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档，包括：针对所述应用接口层、所述应用计算层、所述共性加工层和所述整合模型层中每一数据表，比对所述数据表的字段的内容和所述数据表对应的前置数据表的字段的内容，从而确定所述数据表的字段来源；整合每一数据表的字段来源，生成血缘关系文档。4.根据权利要求1所述的方法，其特征在于，所述在所述数据表依赖关系的基础上，解析各个数据表的字段来源，获得血缘关系文档之后，还包括：当需要更新版本时，将新版本的工作流配置文档和血缘关系文档，以及旧版本的工作流配置文档和血缘关系文档进行比对，确定所述新版本和所述旧版本的数据表差异和字段差异；根据所述数据表差异和字段差异生成用于更新数据表和字段的数据库脚本，所述数据库脚本用于在部署所述新版本时被执行。5.一种梳理数据仓库依赖关系的装置，其特征在于，包括：获取单元，用于获取数据仓库系统的数据源映射文档；其中，所述数据仓库系统包括应用接口层，应用计算层，共性加工层，整合模型层和技术缓冲层；梳理单元，用于...
【专利技术属性】
技术研发人员：金悦，刘冰琳，陈倩文，汪兰叶，齐佳敏，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。