一种数据仓库开发模型的生成方法、系统及相关设备技术方案

本发明专利技术公开了一种数据仓库开发模型的生成方法、系统及相关设备，可应用于人工智能领域。获取预先确定得到的表级信息、字段信息和任务信息，任务信息至少包含变更类型；根据变更类型，确定SDM模型的生成模式；在确定生成模式的基础上，基于表级信息、字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型；基于当前版本的SDM模型生成当前版本的物理数据模型。本方案中，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成SDM模型，再基于SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。提高处理效率和降低错误发生率。提高处理效率和降低错误发生率。

【技术实现步骤摘要】
一种数据仓库开发模型的生成方法、系统及相关设备


[0001]本专利技术涉及数据处理
，具体涉及一种数据仓库开发模型的生成方法、系统及相关设备。

技术介绍

[0002]数据仓库的整合模型层(Integrate Model Level，简称M层)的ETL(Extract
‑
Transform
‑
Load)开发主要依赖于两类开发模型，分别为标准数据层(Standard DataManager，SDM)模型和物理数据模型(physical data model，PDM模型)。
[0003]目前生成开发模型的方式为：由开发人员对照数据仓库规范对每张表的每个字段进行统一设计和填写，以生成开发模型。但是，随着银行大数据建设的推进，入仓需求也在不断增加，开发人员在开发模型的填写和设计上需要耗费大量的时间和精力且容易出现纰漏，处理效率较低和错误发生率较高。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种数据仓库开发模型的生成方法、系统及相关设备，以解决目前生成开发模型的方式存在的处理效率较低和错误发生率较高等问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例第一方面公开一种数据仓库开发模型的生成方法，所述方法包括：
[0007]获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；
[0008]根据所述变更类型，确定标准数据层SDM模型的生成模式；r/>[0009]在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；
[0010]基于所述当前版本的SDM模型生成当前版本的物理数据模型。
[0011]优选的，基于所述当前版本的SDM模型生成当前版本的物理数据模型，包括：
[0012]从所述当前版本的SDM模型中提取目标表的表结构；
[0013]将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。
[0014]优选的，基于所述当前版本的SDM模型生成当前版本的物理数据模型之后，所述方法还包括：
[0015]针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。
[0016]优选的，针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作之后，所述方法还包括：
[0017]将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指
定目录。
[0018]本专利技术实施例第二方面公开一种数据仓库开发模型的生成系统，所述系统包括：
[0019]获取单元，用于获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；
[0020]确定单元，用于根据所述变更类型，确定标准数据层SDM模型的生成模式；
[0021]第一生成单元，用于在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；
[0022]第二生成单元，用于基于所述当前版本的SDM模型生成当前版本的物理数据模型。
[0023]优选的，所述第二生成单元包括：
[0024]提取模块，用于从所述当前版本的SDM模型中提取目标表的表结构；
[0025]生成模块，用于将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。
[0026]优选的，所述系统还包括：
[0027]验证单元，用于针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。
[0028]优选的，所述系统还包括：
[0029]存储单元，用于将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指定目录。
[0030]本专利技术实施例第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现本专利技术实施例第三方面公开的数据仓库开发模型的生成方法。
[0031]本专利技术实施例第四方面公开一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行本专利技术实施例第三方面公开的数据仓库开发模型的生成方法。
[0032]基于上述本专利技术实施例提供的一种数据仓库开发模型的生成方法、系统及相关设备，获取预先确定得到的表级信息、字段信息和任务信息，任务信息至少包含变更类型；根据变更类型，确定SDM模型的生成模式；在所确定的SDM模型的生成模式的基础上，基于表级信息、字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型；基于当前版本的SDM模型生成当前版本的物理数据模型。本方案中，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成当前版本的SDM模型，再基于当前版本的SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图获得其他的附图。
[0034]图1为本专利技术实施例提供的一种数据仓库开发模型的生成方法的流程图；
[0035]图2为本专利技术实施例提供的一种数据仓库开发模型的生成方法的阶段划分示意图；
[0036]图3为本专利技术实施例提供的一种数据仓库开发模型的生成系统的结构框图；
[0037]图4为本专利技术实施例提供的一种数据仓库开发模型的生成系统的另一结构框图；
[0038]图5为本专利技术实施例提供的一种数据仓库开发模型的生成系统的又一结构框图；
[0039]图6为本专利技术实施例提供的一种数据仓库开发模型的生成系统的又一结构框图。
具体实施方式
[0040]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库开发模型的生成方法，其特征在于，所述方法包括：获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；根据所述变更类型，确定标准数据层SDM模型的生成模式；在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；基于所述当前版本的SDM模型生成当前版本的物理数据模型。2.根据权利要求1所述的方法，其特征在于，基于所述当前版本的SDM模型生成当前版本的物理数据模型，包括：从所述当前版本的SDM模型中提取目标表的表结构；将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。3.根据权利要求1所述的方法，其特征在于，基于所述当前版本的SDM模型生成当前版本的物理数据模型之后，所述方法还包括：针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。4.根据权利要求3所述的方法，其特征在于，针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作之后，所述方法还包括：将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指定目录。5.一种数据仓库开发模型的生成系统，其特征在于，所述系统包括：获取单元，用于获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；确定单元，用于根据所述变更类型，确定标准数据层SDM模型的生成模式；...

【专利技术属性】
技术研发人员：卫婷婷，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：