数据处理方法、装置、服务器及存储介质制造方法及图纸

技术编号:38840790 阅读:15 留言:0更新日期:2023-09-17 09:54
本申请提供一种数据处理方法、装置、服务器及存储介质。涉及数据处理技术领域,该方法包括:从本地办结数据库中的办结数据表中抽取待处理的表数据,将其放入本地待同步数据库中;获取办结数据表标识及预配置的数据表标识与目标数据库中的目标数据表标识的映射关系,根据办结数据表标识和映射关系确定与对应的各目标数据表标识;根据办结数据表标识和各目标数据表标识,获取预配置的数据表与各目标数据表对应的表字段映射关系;在待同步数据库中基于表字段映射关系和待处理的表数据生成各目标数据表对应的中间表;将待同步数据库中的中间表发送至目标数据库。本申请的方法,能够实现不同类型数据库之间数据迁移,无需人工操作,且节约时间。且节约时间。且节约时间。

【技术实现步骤摘要】
数据处理方法、装置、服务器及存储介质


[0001]本申请涉及数据处理
,尤其涉及一种数据处理方法、装置、服务器及存储介质。

技术介绍

[0002]数据迁移是将存储于一套存储系统上的数据转移到另一套存储系统中。如,将数据从旧办公自动化系统所在的源数据库中迁移至新办公自动化系统所在的目标数据库中,旧办公自动化系统所在的数据库为非关系型数据库(Not OnlyStructured Query Language,NoSQL),新办公自动化系统所在数据库为关系型数据库(Relational Database Management System,RDBMS)。
[0003]同种类型的数据库之间实现迁移数据的方式需要借助调度工具,而现有的将关系型数据库迁移到非关系型数据库中一般是人工操作,如,将单表或者待迁移数据从关系型数据库导出成txt(text,文件格式),然后人工比对数据类型后通过导入工具将数据导入到非关系型数据库。
[0004]因缺少适配的数据调度工具,不能很好地进行关系型数据库和非关系型数据库之间的数据迁移,数据迁移需要人工操作,耗时长。

技术实现思路

[0005]本申请提供一种数据处理方法、装置、服务器及存储介质,用以解决现有技术中不能很好地进行关系型数据库和非关系型数据库之间的数据迁移的问题。
[0006]第一方面,本申请提供一种数据处理方法,包括:从本地办结数据库中的办结数据表中抽取待处理的表数据,并将所述待处理的表数据放入本地待同步数据库中,所述待处理的表数据包括:多个表字段及各表字段对应的值;获取所述办结数据表标识及预配置的数据表标识与目标数据库中的目标数据表标识的映射关系,并根据所述办结数据表标识和所述映射关系确定与所述办结数据表标识对应的各目标数据表标识;根据所述办结数据表标识和所述各目标数据表标识,获取预配置的数据表与各目标数据表对应的表字段映射关系;在所述待同步数据库中基于所述表字段映射关系和所述待处理的表数据生成各目标数据表对应的中间表;将所述待同步数据库中的中间表发送至所述目标数据库,以供所述目标数据库基于所述中间表对对应的目标数据表进行数据同步处理。
[0007]在一种可能的设计中,所述从本地办结数据库中的办结数据表中抽取待处理的表数据,包括:
[0008]获取所述本地办结数据库中办结数据表对应的表状态;
[0009]若某办结数据表对应的表状态为未完成数据迁移,则从该办结数据表中抽取至少一条数据状态为未抽取的表数据,并将该抽取的表数据作为待处理的表数据。
[0010]在一种可能的设计中,所述根据所述办结数据表标识和所述映射关系确定与所述办结数据表标识对应的各目标数据表标识,包括:
[0011]将所述办结数据表标识与所述映射关系中的数据表标识匹配;
[0012]将与所述办结数据表标识匹配的所述映射关系中的数据表标识对应的各目标数据表标识确定为所述办结数据表标识对应的各目标数据表标识。
[0013]在一种可能的设计中,所述在所述待同步数据库中基于所述表字段映射关系和所述待处理的表数据生成各目标数据表对应的中间表,包括:
[0014]在所述待同步数据库中基于所述待处理的表数据和所述各目标数据表对应的表字段映射关系确定各目标数据表的表字段;
[0015]根据各目标数据表的表字段以及与目标数据表的表字段对应的待处理的表数据的表字段对应值生成各目标数据表对应的中间表。
[0016]在一种可能的设计中,所述方法还包括:
[0017]根据所述待处理的表数据的数据标识在本地办结文件库中查找所述数据标识对应的附件信息;
[0018]获取查找到的所述附件信息,将所述附件信息发送至对应的服务器,以供所述服务器对所述附件信息进行存储并反馈所述附件信息的存储路径;
[0019]接收所述存储路径,将所述存储路径与所述待处理的表数据关联,获得存储路径与待处理的表数据的关联信息,并将所述关联信息发送至所述目标数据库。
[0020]第二方面,本申请提供一种数据处理装置,包括:获取模块,用于从本地办结数据库中的办结数据表中抽取待处理的表数据,并将所述待处理的表数据放入本地待同步数据库中,所述待处理的表数据包括:多个表字段及各表字段对应的值;获取模块,还用于获取所述办结数据表标识及预配置的数据表标识与目标数据库中的目标数据表标识的映射关系;处理模块,用于根据所述办结数据表标识和所述映射关系确定与所述办结数据表标识对应的各目标数据表标识;获取模块,还用于根据所述办结数据表标识和所述各目标数据表标识,获取预配置的数据表与各目标数据表对应的表字段映射关系;处理模块,还用于在所述待同步数据库中基于所述表字段映射关系和所述待处理的表数据生成各目标数据表对应的中间表;收发模块,用于将所述待同步数据库中的中间表发送至所述目标数据库,以供所述目标数据库基于所述中间表对对应的目标数据表进行数据同步处理。
[0021]第三方面,本申请实施例提供一种服务器,包括:处理器,存储器及收发器;
[0022]处理器,存储器及收发器电路互联;
[0023]收发器,用于收发数据;
[0024]所述存储器存储计算机执行指令;
[0025]所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
[0026]第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
[0027]第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
[0028]本申请提供的数据处理方法、装置、服务器及存储介质,从本地办结数据库中的办
结数据表中抽取待处理的表数据,并将所述待处理的表数据放入本地待同步数据库中,所述待处理的表数据包括:多个表字段及各表字段对应的值;获取所述办结数据表标识及预配置的数据表标识与目标数据库中的目标数据表标识的映射关系,并根据所述办结数据表标识和所述映射关系确定与所述办结数据表标识对应的各目标数据表标识;根据所述办结数据表标识和所述各目标数据表标识,获取预配置的数据表与各目标数据表对应的表字段映射关系;在所述待同步数据库中基于所述表字段映射关系和所述待处理的表数据生成各目标数据表对应的中间表;将所述待同步数据库中的中间表发送至所述目标数据库,以供所述目标数据库基于所述中间表对对应的目标数据表进行插入或更新处理,采用预先配置的映射关系进行转换,能够实现不同类型数据库之间数据迁移,从而实现数据的同步,无需人工操作,提升数据迁移效率,且节约时间。
附图说明
[0029]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:从本地办结数据库中的办结数据表中抽取待处理的表数据,并将所述待处理的表数据放入本地待同步数据库中,所述待处理的表数据包括:多个表字段及各表字段对应的值;获取所述办结数据表标识及预配置的数据表标识与目标数据库中的目标数据表标识的映射关系,并根据所述办结数据表标识和所述映射关系确定与所述办结数据表标识对应的各目标数据表标识;根据所述办结数据表标识和所述各目标数据表标识,获取预配置的数据表与各目标数据表对应的表字段映射关系;在所述待同步数据库中基于所述表字段映射关系和所述待处理的表数据生成各目标数据表对应的中间表;将所述待同步数据库中的中间表发送至所述目标数据库,以供所述目标数据库基于所述中间表对对应的目标数据表进行插入或更新处理。2.根据权利要求1所述的方法,其特征在于,所述从本地办结数据库中的办结数据表中抽取待处理的表数据,包括:获取所述本地办结数据库中办结数据表对应的表状态;若某办结数据表对应的表状态为未完成数据迁移,则从该办结数据表中抽取至少一条数据状态为未抽取的表数据,并将该抽取的表数据作为待处理的表数据。3.根据权利要求1所述的方法,其特征在于,所述根据所述办结数据表标识和所述映射关系确定与所述办结数据表标识对应的各目标数据表标识,包括:将所述办结数据表标识与所述映射关系中的数据表标识匹配;将与所述办结数据表标识匹配的所述映射关系中的数据表标识对应的各目标数据表标识确定为所述办结数据表标识对应的各目标数据表标识。4.根据权利要求1所述的方法,其特征在于,所述在所述待同步数据库中基于所述表字段映射关系和所述待处理的表数据生成各目标数据表对应的中间表,包括:在所述待同步数据库中基于所述待处理的表数据和所述各目标数据表对应的表字段映射关系确定各目标数据表的表字段;根据各目标数据表的表字段以及与目标数据表的表字段对应的待处理的表数据的表字段对应值生成各目标数据表对应的中间表。5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:根据所述待处理的表数据的数据标识在本地办结文件库中查找所述数据标识对应的附件信息;获取查找到的所述附件信息,将所述附件信息发送至对应的服务器,以供所述服务器...

【专利技术属性】
技术研发人员:张文成
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1