数据仓库的模板生成方法、计算机设备及存储介质技术

技术编号:35012578 阅读:36 留言:0更新日期:2022-09-21 15:08
本申请公开了一种数据仓库的模板生成方法、计算机设备及存储介质,该方法包括获取调研反馈文档;对调研反馈文档进行数据明细层处理,得到相应的数据仓库详细设计文档;将处理过程进行代码化,以用于查询引擎调试。通过上述方法,能够将逻辑模型设计与物理模型设计集成于一身,完成对调研反馈文档的数据明细层处理,减少人工维护,促进数据仓库研发效率。促进数据仓库研发效率。促进数据仓库研发效率。

【技术实现步骤摘要】
数据仓库的模板生成方法、计算机设备及存储介质


[0001]本申请涉及互联网
,特别是涉及一种数据仓库的模板生成方法、计算机设备及存储介质。

技术介绍

[0002]在信息技术与数据智能大环境下,数据仓库在各种领域提供了许多经济高效的计算资源。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。传统的数据仓库建设需经过系统调研、数据模型设计、映射、脚本研发、测试、部署等过程,其中系统调研、模型设计和映射关系到数据仓库建设的效率和质量。现有业内通用的模型设计分为逻辑模型与物理模型,首先进行逻辑模型设计,之后将逻辑模型转化为物理模型,阶段性交付件为映射文档。
[0003]然而,在实践过程中,发现这类文档具有维护字段较多、维护成本较高、信息冗余大、维护效率低、文档缺乏自动化功能等问题,在数据仓库的研发过程中许多步骤都需要人工操作,对于项目人员的学习成本较高,实际操作过程效率也较低。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种数据仓库的模板生成方法、计算机设备及存储介质,能够简化数据仓库入仓的过程,提高效率。
[0005]为解决上述技术问题,本申请采用的第一个技术方案是:提供一种数据仓库的模板生成方法,该方法包括:获取调研反馈文档;对调研反馈文档进行数据明细层处理,得到相应的数据仓库详细设计文档;将处理过程进行代码化,以用于查询引擎调试。
[0006]为解决上述技术问题,本申请采用的第二个技术方案是:提供一种计算机设备,该计算机设备包括处理器和存储器,存储器连接处理器;其中,存储器用于存储可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述本申请第一个技术方案提供的方法。
[0007]为解决上述技术问题,本申请采用的第三个技术方案是:提供一种计算机可读的存储介质,该计算机可读的存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如上述本申请第一个技术方案提供的方法。
[0008]本申请的有益效果是:区别于现有技术的情况,通过首先获取调研反馈文档,然后对调研反馈文档进行数据明细层处理,以得到相应的数据仓库详细设计文档,最后将处理过程进行代码化,以用于查询引擎调试。本申请的数据仓库的模板生成方法集成逻辑模型设计与物理模型设计于一体,实现减少人工维护,促进数据仓库研发的效率。且本申请的数据仓库的模板生成方法可快速生成其他系统的导入文件,在后续数据仓库的研发过程中实现无缝对接,减少人工操作,提高研发效率。
[0009]进一步,本申请的数据仓库的模板生成方法通过添加自动化按钮的操作方式,使得模板文档的更新、数据明细层处理和代码文件的获取更加简单,使数据仓库中文档的维
护过程更加标准化,减少因人为差异导致的文档格式混乱,步骤更加清晰。
附图说明
[0010]图1是本申请数据仓库的模板生成方法的第一实施例的流程示意图;
[0011]图2是本申请数据仓库的模板生成方法的第二实施例的流程示意图;
[0012]图3是本申请数据仓库的模板生成方法的第三实施例的流程示意图;
[0013]图4是本申请数据仓库的模板生成方法的模板生成界面示意图;
[0014]图5是本申请计算机设备实施例的电路结构示意框图;
[0015]图6是本申请计算机可读的存储介质实施例的电路结构示意框图。
具体实施方式
[0016]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0017]本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0018]在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
[0019]随着大数据时代的到来,面对大数据的多样性,在存储和处理这些大数据时,发展出了数据仓库技术。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,是用于支持决策、面向分析型数据处理的,是对多个数据源的有效集成,集成后按照主题进行重组,并包含历史数据,且存放在数据仓库中的数据一般不再修改。
[0020]传统的数据仓库建设需经过系统调研、数据模型设计、映射、脚本研发、测试、部署等过程,其中系统调研、模型设计和映射关系到数据仓库建设的效率和质量。现有业内通用的模型设计分为逻辑模型与物理模型,首先进行逻辑模型设计,之后将逻辑模型转化为物理模型,阶段性交付件为映射文档。
[0021]然而,在实践过程中,发现这类文档具有维护字段较多、维护成本较高、信息冗余大、维护效率低、文档缺乏自动化功能等问题。例如一些文档内存在表与表中间有相同字段,信息冗余大,维护效率低,一致性难以保障。对于字段命名标准化转译、生成其他系统导入格式文档、根据设计生成代码等,这些都需要人工操作,对于项目人员的学习成本较高,实际操作过程效率也较低。为了改善或解决以上技术问题,本申请提出至少如下实施例。
[0022]如图1所示,图1是本申请的数据仓库的模板生成方法的第一实施例的流程示意图。该数据仓库的模板生成方法包括以下步骤:
[0023]步骤S101:获取调研反馈文档。
[0024]其中,调研反馈文档的获取需要首先获取入仓模板文档,入仓模板文档经过表结构信息调研,将调研信息补充至入仓模板文档,得到调研反馈文档。
[0025]调研部分是数据仓库建设的基石,需要确定构建数据仓库的目标与需求,并进行全面的调研,了解真实的需求,以及确定数据仓库要解决的问题。数据仓库建设的合理性一定是基于调研内容,通过调研能够获取完整的表清单、每张表的具体用途以及存储数据的内容,为后续的数据仓库研发打下基础。
[0026]入仓模板文档内是缺乏与业务相关的、面向主题的数据内容的,可以理解为入仓模板文档仅为框架,需要进行调研,得到诸如完整的表清单、每张表的含义及存储内容等调研信息,利用调研所获取的信息对入仓模板文档进行补充,才能得到本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据仓库的模板生成方法,其特征在于,包括:获取调研反馈文档;对所述调研反馈文档进行数据明细层处理,得到相应的数据仓库详细设计文档;将所述处理过程进行代码化,以用于查询引擎调试。2.根据权利要求1所述的方法,其特征在于,所述对所述调研反馈文档进行数据明细层处理,得到相应的数据仓库详细设计文档之后包括:利用所述数据仓库详细设计文档生成数据库辅助设计软件导入文档;将所述数据库辅助设计软件导入文档同步至数据资产管理平台,以用于查询逻辑映射关系。3.根据权利要求1所述的方法,其特征在于,所述对所述调研反馈文档进行数据明细层处理,得到相应的数据仓库详细设计文档之后包括:利用所述数据仓库详细设计文档生成调度作业部署包;将所述调度作业部署包部署至部署调度平台,完成所述数据仓库的数据入仓操作。4.根据权利要求1所述的方法,其特征在于,所述对所述调研反馈文档进行数据明细层处理,得到相应的数据仓库详细设计文档包括:定义数据明细层中的主题分类;对所述调研反馈文档的字段中文名进行标准化;定义数据明细层中处理的表单的中文名;定义数据明细层中的字段使用标准;对所述调研反馈文档进行中文名称标准化英文名称转义;完善数据明细层中的其他信息,包括且不限于协议编码、事件编号、原始层表名。5.根据权利要求1所述的方法,其特征在于,所述获取调研反馈文档包括:获取入仓模板文档进行表结构信息调研,以得到调研反馈文档。6.根据权利要求5所述的方法,其特征在于,所述获取入仓模板文档进行表结构信息调研,以得到调研反馈文档包括:确认所述调研反馈文档的模板是否为最新;响应于所述调研反馈文档的模板不为最新,将所述调研反馈文档的模板更新至最新。7.根据权利要求5所述的方法,其特征在于...

【专利技术属性】
技术研发人员:陈旋
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1