基于数据集市的数据处理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种基于数据集市的数据处理方法、装置、设备和存储介质，包括：根据上游数据对应的目标历史表，确定上游数据的表结构配置项，并根据表结构配置项确定用于导入上游数据的目标接口表；基于上游数据的定时导入时间，获取上游系统下发的上游文件；若文件获取成功，则对上游文件进行解压处理，获取上游数据，且将上游数据导入目标接口表；根据下游系统的数据获取请求，从导入上游数据的目标接口表中提取出下游系统的目标数据，并对目标数据进行汇总，确定宽表；根据宽表，以及宽表的表格属性确定请求反馈表，并将请求反馈表发送至下游系统。提高了外部数据导入数据集市时的数据导入效率和数据导入准确性。导入效率和数据导入准确性。导入效率和数据导入准确性。

【技术实现步骤摘要】
基于数据集市的数据处理方法、装置、设备和存储介质


[0001]本专利技术实施例涉及计算机领域，尤其涉及一种基于数据集市的数据处理方法、装置、设备和存储介质。

技术介绍

[0002]为了满足特定部门的数据挖掘和数据分析的需求，需要将中央数据仓库中的部分相关数据存入单独的数据库中供部门使用。目前，常采用数据集市作为单独的数据库，并将外部数据按照规定的时间定时导入数据集市中。随着业务的变化，数据集市中需要随时加入新的外部数据，并定义外部数据相关的表结构和外部数据的导入频率等信息。随着带入数据集市的外部数据越来越多，手工将外部数据导入数据集市变得越来越复杂，容易出现数据导入错误且数据导入效率低。因此，如何实现对数据集市导入外部数据的自动化处理，节约人工成本，提高外部数据导入数据集市时的数据导入效率和数据导入准确性，是需要解决的问题。

技术实现思路

[0003]本专利技术提供了一种基于数据集市的数据处理方法、装置、设备和存储介质，可以实现对数据集市导入外部数据的自动化处理，节约人工成本，提高外部数据导入数据集市时的数据导入效率和数据导入准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据集市的数据处理方法，其特征在于，包括：根据上游数据对应的目标历史表，确定所述上游数据的表结构配置项，并根据所述表结构配置项确定用于导入所述上游数据的目标接口表；基于上游数据的定时导入时间，获取所述上游系统下发的上游文件；若文件获取成功，则对所述上游文件进行解压处理，获取所述上游数据，且将所述上游数据导入所述目标接口表；根据下游系统的数据获取请求，从导入所述上游数据的目标接口表中提取出所述下游系统的目标数据，并对所述目标数据进行汇总，确定宽表；根据所述宽表，以及所述宽表的表格属性确定请求反馈表，并将所述请求反馈表发送至所述下游系统。2.根据权利要求1所述的方法，其特征在于，根据所述宽表，以及所述宽表的表格属性确定请求反馈表，并将所述请求反馈表发送至所述下游系统，包括：若根据所述宽表的特征信息，确定所述宽表的表格属性为流水表，则根据所述上游数据的任务配置信息，确定所述上游文件的文件属性；若所述文件属性为全量文件，则根据所述宽表生成拉链表；若所述文件属性为增量文件，则对所述宽表和所述目标历史表按照时序进行排列处理，根据排列处理结果确定拉链表；根据所述宽表和所述拉链表确定请求反馈表，并将所述请求反馈表发送至所述下游系统。3.根据权利要求2所述的方法，其特征在于，根据所述宽表和所述拉链表确定请求反馈表，并将所述请求反馈表发送至所述下游系统，包括：若确定所述上游数据的逻辑主键和所述宽表的逻辑主键一致，则将所述宽表和所述拉链表进行整合，确定请求反馈表；根据反馈数据配置项，确定所述请求反馈表的目标下发目录，所述请求反馈表的下发时间，以及对所述请求反馈表的输出文件属性；基于所述输出文件属性对所述请求反馈表进行数据转换，并基于所述下发时间，将转换后的请求反馈表下发至所述下游系统中的目标下发目录。4.根据权利要求1所述的方法，其特征在于，基于上游数据的定时导入时间，获取所述上游系统下发的上游文件后，还包括：若文件获取失败，则根据所述上游数据的任务配置信息，确定发出文件获取请求的时间间隔，并基于所述时间间隔，向所述上游系统重新发送文件获取请求；若所述文件获取请求的持续发送次数大于请求次数阈值，则发出告警信息。5.根据权利要求1所述的方法，其特征在于，将所述上游数据导入所述目标接口表，包括：根据所述目标接口表对所述上游数据进行数据检验，根据检验结果确定所述上游数据是否存在数据异常；若否，则将所述上游数据导入所述目标接口表，并将导入所述上游数...

【专利技术属性】
技术研发人员：金辰，牟南，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：