一种异构数据库的数据处理方法及装置制造方法及图纸

本发明专利技术提供一种异构数据库的数据处理方法及装置，所述方法包括：接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成至少一个数据搬运任务和一个数据处理任务；执行所述至少一个数据搬运任务；对所述目标数据库执行所述数据处理任务，获得数据处理结果。所述装置用于执行上述方法。本发明专利技术实施例提供的异构数据库的数据处理方法及装置，提高了数据处理效率。

【技术实现步骤摘要】
一种异构数据库的数据处理方法及装置
本专利技术涉及数据处理
，具体涉及一种异构数据库的数据处理方法及装置。
技术介绍
在企业级大数据平台中，存储着各类业务的海量数据，按照业务领域分布在多个不同类型的数据库中。为了支撑日益复杂的交易场景，业务侧经常需要对多个异构数据库进行数据查询，获得多个异构数据库中的数据进行综合分析，但由于异构数据库具有不同的数据结构，现有技术中多个异构数据库查询，通常面临两大技术难题。第一，对于复杂业务应用的系统内部，包含多样的查询场景，既涉及关系型数据库如MySQL或Oracle，又涉及大数据产品如Hive或MPP，同时维护管理各类数据库产品增加了应用的运维难度；第二，不同的数据库产品具有不同的系统架构和数据结构，数据在异构数据库和数据库集群之间无法自如流通，对于企业用户跨数据库探索数据价值带来阻碍。因此，如何提出一种异构数据库的数据处理方法，实现对异构数据库的统一查询成为本领域需要解决的重要课题。
技术实现思路
针对现有技术中的问题，本专利技术实施例提供一种异构数据库的数据处理方本文档来自技高网...

【技术保护点】
1.一种异构数据库的数据处理方法，其特征在于，包括：/n接收数据处理请求，所述数据处理请求包括字段信息和表信息；/n解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；/n生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；/n执行所述至少一个数据搬运任务；/n对所述目标数据库执行所述数据处理任务，获得...

【技术特征摘要】
1.一种异构数据库的数据处理方法，其特征在于，包括：
接收数据处理请求，所述数据处理请求包括字段信息和表信息；
解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；
生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；
执行所述至少一个数据搬运任务；
对所述目标数据库执行所述数据处理任务，获得数据处理结果。


2.根据权利要求1所述的方法，其特征在于，所述执行所述至少一个数据搬运任务包括：
根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；
将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；
根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。


3.根据权利要求2所述的方法，其特征在于，所述将所述临时表中的字段信息对应的数据拷贝到中转目录包括：
若判断获知所述字段信息对应的数据的大小大于预设值，则将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；
将所述多个分片数据拷贝到所述中转目录。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述目标数据库执行所述数据处理任务包括：
根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；
将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。


5.一种异构数据库的数据处理装置，其特征在于，包括：
接收模块，用于接收数据处理请求，所述数据处理请求包括字段信息和表信息；
解析模块，用于解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信...

【专利技术属性】
技术研发人员：沈贇，阳万里，阳兵，唐家星，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11