数据下档方法和装置、电子设备和存储介质制造方法及图纸

本申请提供了一种数据下档方法和装置、电子设备和存储介质，其中，该方法包括：确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。通过本申请，解决了相关技术中的数据下档方式存在适用性差的问题。

【技术实现步骤摘要】
数据下档方法和装置、电子设备和存储介质
本申请涉及数据处理领域，尤其涉及一种数据下档方法和装置、电子设备和存储介质。
技术介绍
批处理是银行的日常核心业务，在每天营业结束后银行可以开启批处理，计算当天的资金出入并给出统计报表。在完成批处理日切后，数据下档是批处理作业的第一个处理环节，即，数据准备环节。批处理下档是指按照一定的数据输出规则，从数据库中将数据抽取出来存储到磁盘或分布式存储系统或第三方数据库，以供后续批处理作业进行数据计算。目前，银行使用一般是基于大/小型机的Oracle(一种关系数据库管理系统)RAC(RealApplicationClusters，实时应用集群)、基于大型机的DB2(Database2，一种关系型数据库管理系统)等数据库。数据下档可以基于数据库自带的数据导出工具或直接利用SQL(StructuredQueryLanguage，结构化查询语言)命令将数据提取出来，并存储到磁盘或分布式存储系统中。然而，上述数据下档的方式需要使用特定类型的数据库(例如，OracleRAC、DB2等)，对于数据库的硬件要求高，无法适用到其他类型额度数据库。即使可以应用到其他类型的数据库，也会存在数据下档的效率低下的问题。因此，相关技术中的数据下档方式存在适用性差的问题。
技术实现思路
本申请提供了一种数据下档方法和装置、电子设备和存储介质，以至少解决相关技术中的数据下档方式存在适用性差的问题。根据本申请实施例的一个方面，提供了一种数据下档方法，包括：确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。可选地，确定与所述目标数据表对应的所述多个数据库包括：从目标数据库代理获取与所述目标数据表对应的目标数据子表分布信息，其中，所述目标数据子表分布信息用于指示所述目标数据表包含的多个数据子表中的每个数据子表与所述每个数据子表所在的数据库之间的关联关系；根据所述目标数据子表分布信息，确定出与所述目标数据表对应的所述多个数据库。可选地，分别从所述多个数据库中的所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据包括：通过多个线程从所述每个数据库并行下档所述每个数据库中存储的目标数据子表中的数据，其中，所述多个线程与所述多个数据库一一对应。可选地，分别从所述多个数据库中的所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据包括：分别向所述每个数据库发送目标下档请求，其中，所述目标下档请求用于请求按照目标下档条件下档所述每个数据库中存储的目标数据子表中的数据；接收所述每个数据库响应所述目标下档请求所返回的目标响应消息，其中，所述目标响应消息中携带有按照所述目标下档条件从所述每个数据库中存储的目标数据子表获取到的数据。可选地，在分别向所述每个数据库发送所述目标下档请求之后，所述方法还包括：通过目标数据库接收目标服务器发送的所述目标下档请求，其中，所述目标下档条件包括以下至少之一：第一指定列对应值位于目标范围内，第二指定列对应值的格式转换为特定格式，所述目标数据库为所述多个数据库中的一个；响应所述目标下档请求，通过所述目标数据库从所述目标数据库中存储的目标数据子表中获取目标业务数据，其中，所述目标业务数据的所述第一指定列对应值位于所述目标范围内和/或所述第二指定列对应值的格式被转换为所述特定格式；通过所述目标数据库向所述目标服务器发送所述目标响应消息，其中，所述目标响应消息携带有所述目标业务数据。可选地，在分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据之后，所述方法还包括：将从所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据进行合并，得到所述目标数据表；对所述目标数据表中的数据执行目标处理操作，得到更新后的所述目标数据表，其中，所述目标处理操作包括以下至少之一：过滤不完整数据，去除重复数据。可选地，在确定待下档的所述目标数据表之前，所述方法还包括：接收目标对象发送的目标处理请求，其中，所述目标处理请求用于请求执行目标处理操作；确定待下档的所述目标数据表包括：确定与所述目标处理操作关联的多个关联数据表，其中，所述多个关联数据表包括所述目标数据表；在分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据之后，所述方法还包括：在获取到所述多个关联数据表的情况下，对所述多个关联数据表中的数据执行所述目标处理操作，得到所述目标处理操作的目标处理结果；将所述目标处理结果存储到目标存储设备中；向所述目标对象发送所述目标处理结果的访问路径。根据本申请实施例的另一个方面，还提供了一种数据下档装置，包括：第一确定单元，用于确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；第二确定单元，用于确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；下档单元，用于分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。可选地，所述第二确定单元包括：获取模块，用于从目标数据库代理获取与所述目标数据表对应的目标数据子表分布信息，其中，所述目标数据子表分布信息用于指示所述目标数据表包含的多个数据子表中的每个数据子表与所述每个数据子表所在的数据库之间的关联关系；第一确定模块，用于根据所述目标数据子表分布信息，确定出与所述目标数据表对应的所述多个数据库。可选地，所述下档单元包括：下档模块，用于通过多个线程从所述每个数据库并行下档所述每个数据库中存储的目标数据子表中的数据，其中，所述多个线程与所述多个数据库一一对应。可选地，所述下档单元包括：发送模块，用于分别向所述每个数据库发送目标下档请求，其中，所述目标下档请求用于请求按照目标下档条件下档所述每个数据库中存储的目标数据子表中的数据；接收模块，用于接收所述每个数据库响应所述目标下档请求所返回的目标响应消息，其中，所述目标响应消息中携带有按照所述目标下档条件从所述每个数据库中存储的目标数据子表获取到的数据。可选地，所述装置还包括：第一接收单元，用于在分别向所述每个数据库发送所述目标下档请求之后，通过目标数据库接收目标服务器发送的所述目标下档请求，其中，所述目标下档条件包括以下至少之一：第一指定列对应值位于目标范围内，第二指定列对应值的格式转换为特定格式，所述目标数据库为所述多个数据库中的一个；获取单元，用于响应所述目标下档请求，通过所述目标数据库从所述目标数据库中存储的目标数据子表中获取目标业务数据，其中，所述目标业务数据的所述第一指定列对应值位于所述目标范围内和/或所述第二指定列对应值的格式被转换为所述特定格式；第一发送单元，用于通过所述目标数据库向所述目标服本文档来自技高网...

【技术保护点】
1.一种数据下档方法，其特征在于，包括：/n确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；/n确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；/n分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。/n

【技术特征摘要】
1.一种数据下档方法，其特征在于，包括：
确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；
确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；
分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。


2.根据权利要求1所述的方法，其特征在于，确定与所述目标数据表对应的所述多个数据库包括：
从目标数据库代理获取与所述目标数据表对应的目标数据子表分布信息，其中，所述目标数据子表分布信息用于指示所述目标数据表包含的多个数据子表中的每个数据子表与所述每个数据子表所在的数据库之间的关联关系；
根据所述目标数据子表分布信息，确定出与所述目标数据表对应的所述多个数据库。


3.根据权利要求1所述的方法，其特征在于，分别从所述多个数据库中的所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据包括：
通过多个线程从所述每个数据库并行下档所述每个数据库中存储的目标数据子表中的数据，其中，所述多个线程与所述多个数据库一一对应。


4.根据权利要求1所述的方法，其特征在于，分别从所述多个数据库中的所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据包括：
分别向所述每个数据库发送目标下档请求，其中，所述目标下档请求用于请求按照目标下档条件下档所述每个数据库中存储的目标数据子表中的数据；
接收所述每个数据库响应所述目标下档请求所返回的目标响应消息，其中，所述目标响应消息中携带有按照所述目标下档条件从所述每个数据库中存储的目标数据子表获取到的数据。


5.根据权利要求4所述的方法，其特征在于，在分别向所述每个数据库发送所述目标下档请求之后，所述方法还包括：
通过目标数据库接收目标服务器发送的所述目标下档请求，其中，所述目标下档条件包括以下至少之一：第一指定列对应值位于目标范围内，第二指定列对应值的格式转换为特定格式，所述目标数据库为所述多个数据库中的一个；
响应所述目标下档请求，通过所述目标数据库从所述目标数据库中存储的目标数据子表中获取目标业务数据，其中，所述目标业务数据的所述第一指定列对应值位于所述目标范围内和/或所述第二指定列对应值的格式被转换为所述特定格式；
通过所述目标数据库向...

【专利技术属性】
技术研发人员：张健，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11