数据仓库脚本文件的生成方法和装置制造方法及图纸

技术编号:36387948 阅读:37 留言:0更新日期:2023-01-18 09:51
本申请涉及数据仓库脚本文件的生成方法和装置。所述方法包括:获取目标数据仓库以及业务数据对应的源数据库;根据预设格式的映射文档模板,确定所述源数据库与所述目标数据仓库的关联关系,得到映射文档;接收对所述映射文档的校验操作,得到校验后的映射文档,并基于所述校验后的映射文档,生成脚本文件。能够独立对不同的数据仓库进行工作;标准化的映射规则提升了文档生成的准确性,无需人工对多个环节进行反复核查。环节进行反复核查。环节进行反复核查。

【技术实现步骤摘要】
数据仓库脚本文件的生成方法和装置


[0001]本申请涉及计算机
,特别是涉及一种数据仓库脚本文件的生成方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展,出现了数据仓库技术,用于集合多种业务系统数据,为企业进行数据分析提供数据支持。业务数据在存入数据仓库前,需要经过数据抽取(Extract)、转换(Transform)、装载(Load)等数据处理过程,相关技术中,针对每一种数据仓库,通过对应的ETL工具生成对应的脚本文件,在执行该脚本文件时,自动进行上述数据抽取、转换、装载等过程。例如,Teradata数据仓库的Minerva、如Oracle数据仓库的OWB、SQLServer2000数据仓库的DTS,上述ETL工具生成的脚本文件依赖于各自对应的数据仓库,生成的脚本文件无法对其他数据仓库进行数据处理,并且在脚本文件准确性不高,仍需要人工在多个环节多次修改核查。

技术实现思路

[0003]基于此,有必要针对上述技术问题,提供一种数据仓库脚本文件的生成方法、装置、计算机设备、存储介质和计算机程序产品。
[0004]第一方面,本申请提供了一种数据仓库脚本文件的生成方法。所述方法包括:
[0005]获取目标数据仓库以及业务数据对应的源数据库;
[0006]根据预设格式的映射文档模板,确定所述源数据库与所述目标数据仓库的关联关系,得到映射文档;
[0007]接收对所述映射文档的校验操作,得到校验后的映射文档,并基于所述校验后的映射文档,生成脚本文件。
[0008]在一种可能的实现方式中,所述映射文档模板的获得方式包括:
[0009]接收对初始映射文档模板的配置操作,得到映射文档模板。
[0010]在一种可能的实现方式中,接收对初始映射文档模板的配置操作,得到映射文档模板,包括:
[0011]接收对初始映射文档模板的字段逻辑配置操作,得到第一中间映射文档模板;
[0012]接收对所述第一中间映射文档模板的函数转换规则配置操作,得到映射文档模板。
[0013]在一种可能的实现方式中,所述配置操作包括对数据仓库配置信息的配置操作,所述接收对初始映射文档模板的配置操作,得到映射文档模板,包括:
[0014]获取所述目标数据仓库的配置信息以及所述源数据库的配置信息;
[0015]将所述配置信息载入初始映射文档模板,得到第二中间映射文档模板;
[0016]利用所述第二中间映射文档模板接收配置操作,得到映射文档模板。
[0017]在一种可能的实现方式中,所述获取目标数据仓库,包括:
[0018]接收从多个数据仓库中选择目标数据仓库;
[0019]根据所述目标数据仓库的预存的连接信息,连接所述目标数据仓库;
[0020]从所述目标数据仓库中获取对应的信息。
[0021]在一种可能的实现方式中,在所述生成所述目标数据仓库对应的脚本文件,之后还包括:
[0022]生成所述映射文档的操作信息日志。
[0023]在一种可能的实现方式中,所述生成所述映射文档的操作信息日志,包括:
[0024]接收对操作信息操作类型及子目录的选择操作;
[0025]确定选中的操作信息,根据所述操作信息生成操作信息日志。
[0026]在一种可能的实现方式中,在所述生成所述目标数据仓库对应的脚本文件,之后还包括:
[0027]生成应用程序接口,其中,当所述应用程序接口被调用时,运行脚本文件的生成方法。
[0028]第二方面,本申请还提供了一种数据仓库脚本文件的生成装置。所述装置包括:
[0029]获取模块,用于获取目标数据仓库以及业务数据对应的源数据库;
[0030]确定模块,用于根据预设格式的映射文档模板,确定所述源数据库与所述目标数据仓库的关联关系,得到映射文档;
[0031]第一生成模块,用于接收对所述映射文档的校验操作,得到校验后的映射文档,并基于所述校验后的映射文档,生成脚本文件。
[0032]在一种可能的实现方式中,所述装置还包括:
[0033]配置模块,用于接收对初始映射文档模板的配置操作,得到映射文档模板。
[0034]在一种可能的实现方式中,所述配置模块包括:
[0035]第一配置子模块,用于接收对初始映射文档模板的字段逻辑配置操作,得到第一中间映射文档模板;
[0036]第二配置子模块,用于接收对所述第一中间映射文档模板的函数转换规则配置操作,得到映射文档模板。
[0037]在一种可能的实现方式中,所述配置模块,包括:
[0038]第一获取子模块,用于获取所述目标数据仓库的配置信息以及所述源数据库的配置信息;
[0039]载入子模块,用于将所述配置信息载入初始映射文档模板,得到第二中间映射文档模板;
[0040]接收子模块,用于利用所述第二中间映射文档模板接收配置操作,得到映射文档模板。
[0041]在一种可能的实现方式中,所述获取模块,包括:
[0042]第一选择子模块,用于接收从多个数据仓库中选择目标数据仓库;
[0043]连接子模块,用于根据所述目标数据仓库的预存的连接信息,连接所述目标数据仓库;
[0044]第二获取子模块,用于从所述目标数据仓库中获取对应的信息。
[0045]在一种可能的实现方式中,在所述生成所述目标数据仓库对应的脚本文件,之后
还包括:
[0046]第二生成模块,用于生成所述映射文档的操作信息日志。
[0047]在一种可能的实现方式中,所述第二生成模块,包括:
[0048]第二选择子模块,用于接收对操作信息操作类型及子目录的选择操作;
[0049]生成子模块,用于确定选中的操作信息,根据所述操作信息生成操作信息日志。
[0050]在一种可能的实现方式中,所述装置还包括:
[0051]第二生成模块,用于生成应用程序接口,其中,当所述应用程序接口被调用时,运行脚本文件的生成方法。
[0052]第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现根据本公开实施例任一项所述的方法的步骤。
[0053]第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本公开实施例任一项所述的方法的步骤。
[0054]第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开实施例任一项所述的方法的步骤。
[0055]上述数据仓库脚本文件的方法、装置、计算机设备、存储介质和计算机程序产品,通过获取目标数据仓库和业务数据对应的源数据库,对目标数据仓库和业务数据对应的源数据库的关联关系进行配置,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据仓库脚本文件的生成方法,其特征在于,所述方法包括:获取目标数据仓库以及业务数据对应的源数据库;根据预设格式的映射文档模板,确定所述源数据库与所述目标数据仓库的关联关系,得到映射文档;接收对所述映射文档的校验操作,得到校验后的映射文档,并基于所述校验后的映射文档,生成脚本文件。2.根据权利要求1所述的方法,所述映射文档模板的获得方式包括:接收对初始映射文档模板的配置操作,得到映射文档模板。3.根据权利要求2所述的方法,其特征在于,接收对初始映射文档模板的配置操作,得到映射文档模板,包括:接收对初始映射文档模板的字段逻辑配置操作,得到第一中间映射文档模板;接收对所述第一中间映射文档模板的函数转换规则配置操作,得到映射文档模板。4.根据权利要求2所述的方法,其特征在于,所述配置操作包括对数据仓库配置信息的配置操作,所述接收对初始映射文档模板的配置操作,得到映射文档模板,包括:获取所述目标数据仓库的配置信息以及所述源数据库的配置信息;将所述配置信息载入初始映射文档模板,得到第二中间映射文档模板;利用所述第二中间映射文档模板接收配置操作,得到映射文档模板。5.根据权利要求1所述的方法,其特征在于,所述获取目标数据仓库,包括:接收从多个数据仓库中选择目标数据仓库;根据所述目标数据仓库的预存的连接信息,连接所述目标数据仓库;从所述目标数据仓库中获取对应的信息。6.根据权利要求1所述的方法,其特征在于,在...

【专利技术属性】
技术研发人员:左倩张连明
申请(专利权)人:上海浦东发展银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1