向数据仓库增添字段的方法、装置、设备、介质及产品制造方法及图纸

技术编号:42675624 阅读:33 留言:0更新日期:2024-09-10 12:27
本申请涉及向数据仓库增添字段的方法、装置、设备、介质及产品,数据仓库包括多个数据层级,其中需要添加目标字段的第一目标表和第二目标表分别位于数据仓库中相邻的两个层级中,方法包括:生成用于修改第一目标表表结构的语句;从第一目标表的元数据中获取第一目标表对应的第一任务id,并获取第一任务id对应的元代码,其中第一任务id用于标识对第一目标表进行的数据操作任务;在第一任务id的元代码中添加一个或多个包括目标字段的预设字段信息,得到第一任务id的修改后的元代码。利用本申请实施例能够提高向数据仓库增添字段的效率。

【技术实现步骤摘要】

本申请涉及数据处理,特别地涉及一种向数据仓库增添字段的方法、装置、设备、介质及产品


技术介绍

1、数据仓库是面向主题、集成、非易失性的数据集合,用于支持企业决策和商业智能应用,提供灵活的数据分析和查询功能。在数据仓库中,数据分层是一种常见的技术,它有助于提高数据质量、减少数据准备时间和成本,并支持数据治理。例如在数据仓库分层中常见的层次有操作型数据存储层(operational data store,ods)、数据明细层(datawarehouse detail,dwd)、数据服务层(data warehouse service,dws)等。在数据仓库的各层中具有数据存储表格,其中,ods层中的表格中存储有原始、实时的操作数据,用于提供实时数据支持。dwd层中的表格中存储有经过清洗、加工后的详细数据,为数据仓库提供基础数据支持,支持复杂的数据分析和报表查询需求。dws层中的表格存储有已加工的数据,并为用户提供数据分析和报告的支持。

2、在数据仓库的开发过程中,需要根据业务需求将其它数据源中的字段增添到数据仓库的不同层中。但是,目前数据仓库中针本文档来自技高网...

【技术保护点】

1.一种向数据仓库增添字段的方法,其特征在于,所述数据仓库包括多个数据层级,其中需要添加目标字段的第一目标表和第二目标表分别位于数据仓库中相邻的两个层级中,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,其中对第二目标表执行的步骤包括:

3.根据权利要求1所述的方法,其特征在于,所述预设字段信息为包含待添加的字段的代码参数,其中,所述代码参数用于在运行所述第一任务id的修改后的元代码时,对所述代码参数包含的待添加的字段进行过滤,使得为空值的待添加的字段被替换为空字符串。

4.根据权利要求1所述的方法,其特征在于,所述元代码为sql代码,在所述...

【技术特征摘要】

1.一种向数据仓库增添字段的方法,其特征在于,所述数据仓库包括多个数据层级,其中需要添加目标字段的第一目标表和第二目标表分别位于数据仓库中相邻的两个层级中,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,其中对第二目标表执行的步骤包括:

3.根据权利要求1所述的方法,其特征在于,所述预设字段信息为包含待添加的字段的代码参数,其中,所述代码参数用于在运行所述第一任务id的修改后的元代码时,对所述代码参数包含的待添加的字段进行过滤,使得为空值的待添加的字段被替换为空字符串。

4.根据权利要求1所述的方法,其特征在于,所述元代码为sql代码,在所述sql代码中的“from”关键字后添加所述数据源的信息,以定位到所述数据源的位置。

5.根据权利要求1所述的方法,其特征在于,所述第一目标表和所述第二目标表分别位于数据仓库中第i层级和第i+1层级,其中,如果i=1,则所述数据源位于所述数据仓库外;如果i>1,则所述数据源位于所述数据仓库的第i-1层级。

6.根据权利要求5所述的方法,其特征在于,所述数据仓库包括三个数据层级,从第一层到第三层依次为:...

【专利技术属性】
技术研发人员:张明微豆争虎
申请(专利权)人:前锦网络信息技术上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1