一种数据集市管理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例公开了一种数据集市管理方法、装置、电子设备和存储介质。该方法包括：接收源系统发送的待处理数据；将待处理数据存储至预先确定的表结构中，得到标准格式的数据表；基于标准格式的数据表对待处理数据按照层级顺序依次在多个层级上进行处理，得到待处理数据的处理结果表；并将待处理数据的处理结果表发送至下游系统。本申请实施例的方法，可以对数据表的建立方式和存储形式进行统一规范，直接对规范后的数据进行处理，降低数据集市中数据表的应用及后期维护难度，提高数据集市的管理效率。管理效率。管理效率。

【技术实现步骤摘要】
一种数据集市管理方法、装置、电子设备和存储介质


[0001]本申请实施例涉及大数据处理领域，尤其涉及一种数据集市管理方法、装置、电子设备和存储介质。

技术介绍

[0002]数据集市也叫数据市场，数据集市可以满足特定的部门或者用户的需求，按照多维的方式进行数据存储，包括定义维度、需要计算的指标、维度的层次等，数据集市可以生成面向决策分析需求的数据立方体。数据集市的目标是可以让下游系统快速、准确、安全地提取目标数据。数据集市需要具备合理的数据存储、高效的数据处理、严格的权限把控以及快速的问题排查能力，为下游系统提供高质量服务。
[0003]现有的数据集市规模较小，其数据集市管理方法主要是利用Hadoop集群对数据集市进行层次搭建。这种方法未对数据表的建立方式和存储形式进行统一规范，当对接的源系统数量增加时，由于不同源系统提供的数据格式及编码各异，导致数据集市中数据表的应用及后期维护具有一定难度，降低了数据集市的管理效率。

技术实现思路

[0004]本申请提供一种数据集市管理方法、装置、电子设备和存储介质，能够提高数据处理效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集市管理方法，其特征在于，所述方法包括：接收源系统发送的待处理数据；将所述待处理数据存储至预先确定的表结构中，得到标准格式的数据表；基于所述标准格式的数据表对所述待处理数据按照层级顺序依次在多个层级上进行处理，得到所述待处理数据的处理结果表；并将所述待处理数据的处理结果表发送至下游系统。2.根据权利要求1所述的方法，其特征在于，在所述接收源系统发送的待处理数据之前，所述方法还包括：接收用户发送的应用系统选择指令，响应于所述应用系统选择指令确定目标应用系统；获取所述目标应用系统的系统信息；根据所述系统信息的各个字段构建所述目标应用系统的物理模型，基于所述物理模型确定所述表结构。3.根据权利要求1所述的方法，其特征在于，在接收源系统发送的待处理数据之后，所述方法还包括：接收用户发送的所述待处理数据的入库方式，其中，所述入库方式包括主动入库或者被动入库；当所述待处理数据的入库方式为主动入库时，获取所述待处理数据的入库申请表，对所述入库申请表进行审核；当所述入库申请表的审核结果为审核通过时，执行将所述待处理数据存储至预先确定的表结构中的步骤。4.根据权利要求1所述的方法，其特征在于，所述层级包括原始数据层、基础数据层、通用模型层和接口层，基于所述标准格式的数据表对所述待处理数据按照层级顺序依次在多个层级上进行处理，得到所述待处理数据的处理结果表，包括：在所述原始数据层按照预设生命周期存储所述标准格式的数据表，并将所述标准格式的数据表发送至所述基础数据层；根据预先配置的数据管理信息在所述基础数据层对所述标准格式的数据表进行数据加工，得到基础数据表；将所述基础数据表发送至所述通用模型层；在所述通用模型层确定所述基础数据表的个性化字段，根据所述个性化字段对所述基础数据表中的数据进行个性化筛选，得到候选数据表；将所述候选数据表发送至所述接口层；基于所述候选数据表在所述接口层得到所述处理结果表。5.根据权利要求4所述的方法，其特征在于，基于所述候选数据表在所述接...

【专利技术属性】
技术研发人员：郭文阳，韩世杰，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：