数据处理方法、装置及服务器制造方法及图纸

技术编号:36601933 阅读:15 留言:0更新日期:2023-02-04 18:17
本申请提供一种数据处理方法、装置及服务器,涉及数据存储技术,该方法包括:响应于接收到的数据迁移请求,确定用于存储目标数据的目标表、与目标表对应的中间表。根据预设的数据映射规则信息,分别获取与中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含初步数据的中间表。根据预设的整合规则信息,对多个包含初步数据的中间表进行整合处理,得到整合后的包含目标数据的中间表;根据整合后的包含目标数据的中间表,得到包含目标数据的目标表,以完成数据迁移。本申请通过预设的数据映射规则信息,可以分别从多个其他数据库中获取与中间表中的字段对应的数据,解决了可迁移整合的数据源的多样性较低的问题。样性较低的问题。样性较低的问题。

【技术实现步骤摘要】
数据处理方法、装置及服务器


[0001]本申请涉及数据存储技术,尤其涉及一种数据处理方法、装置及服务器。

技术介绍

[0002]目前,随着各服务器中的数据的增多,需要对多个服务器中的数据进行迁移整合。
[0003]现有技术中,对多个服务器中的数据进行迁移整合时,由于包含同一业务类型数据的数据表的数据表结构是相同的,可以将各个服务器中同一业务类型的数据迁移整合到一起。
[0004]然而现有技术中,由于只能将各个服务器中同一业务类型的数据迁移整合到一起,导致只能支持同一业务类型的数据源的迁移整合,进而导致可迁移整合的数据源的多样性较低。

技术实现思路

[0005]本申请提供一种数据处理方法、装置及服务器,用以解决可迁移整合的数据源的多样性较低的技术问题。
[0006]第一方面,本申请提供一种数据处理方法,包括:
[0007]响应于接收到的数据迁移请求,其中,所述数据迁移请求用于指示从多个其他服务器中获取数据,确定用于存储目标数据的目标表、以及与所述目标表对应的中间表;所述中间表分别与每一其他服务器中的数据表之间存在预设的对应关系;
[0008]根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表;其中,所述预设的数据映射规则信息表征中间表的字段与其他服务器中的数据表的字段之间的映射关系;
[0009]根据预设的整合规则信息,对多个包含初步数据的中间表进行整合处理,得到整合后的包含目标数据的中间表;并根据整合后的包含目标数据的中间表,得到包含目标数据的目标表,以完成数据迁移;其中,所述整合规则信息用于指示针对初步数据的筛选规则信息。
[0010]进一步地,所述根据预设的整合规则信息,对多个包含初步数据的中间表进行整合处理,得到整合后的包含目标数据的中间表,包括;
[0011]若确定多个中间表中每一中间表的预设的主键对应有不同的初步数据,则根据每一包含初步数据的中间表的预设的主键,确定每一中间表的所述主键的优先级;其中,所述主键表征中间表的每一条记录的标识;
[0012]基于预设的整合规则信息,保留优先级最高的主键对应的初步数据;
[0013]根据优先级最高的主键对应的初步数据,得到整合后的包含目标数据的中间表。
[0014]进一步地,所述根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步数据
的中间表,包括:
[0015]根据预设的数据映射规则信息,分别向与所述中间表对应的每一所述其他服务器发送数据获取指令,以使每一所述其他服务器分别根据所述数据获取指令,从每一所述其他服务器对应的至少一个数据表内获取初步数据;
[0016]接收与所述中间表对应的每一其他服务器发送的所述初步数据;
[0017]根据与所述中间表对应的每一其他服务器发送的所述初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表。
[0018]进一步地,所述根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表,包括:
[0019]获取每一所述其他服务器发送的至少一个数据表;
[0020]在每一所述其他服务器发送的至少一个数据表中,基于预设的数据映射规则信息,获取与所述中间表对应的每一其他服务器中的数据表内的初步数据;
[0021]根据与所述中间表对应的每一其他服务器发送的所述初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表。
[0022]进一步地,所述根据整合后的包含目标数据的中间表,得到包含目标数据的目标表,包括:
[0023]根据预设的中间表的字段与目标表的字段之间的映射关系,将所述中间表的目标数据存储至所述目标表中。
[0024]进一步地,所述方法还包括:
[0025]预先获取多个其他服务器中每一其他所述服务器发送的至少一个数据表、以及多个用于存储所述目标数据的目标表;其中,所述数据表和所述目标表均包括多个字段;
[0026]确定每一其他所述服务器发送的数据表的数据表结构、以及所述目标表的数据表结构;
[0027]根据所述目标表的数据表结构,确定所述目标表的主键;
[0028]根据每一所述目标表的数据表结构,生成与每一目标表对应的中间表;其中,所述目标表的字段与所述中间表的字段之间存在映射关系;
[0029]针对每一所述其他所述服务器发送的至少一个数据表,根据每一其他所述服务器发送的至少一个数据表的字段、以及与每一所述其他所述服务器对应的中间表的字段,生成所述中间表与所述数据表之间的数据映射规则信息。
[0030]进一步地,所述根据所述目标表的数据表结构,确定所述目标表的主键,包括:
[0031]根据预设的主键信息,对所述目标表中的字段进行业务含义分析,确认符合所述主键信息的字段为所述目标表的主键。
[0032]第二方面,本申请提供一种数据处理装置,包括:
[0033]第一确定单元,用于响应于接收到的数据迁移请求,其中,所述数据迁移请求用于指示从多个其他服务器中获取数据,确定用于存储目标数据的目标表、以及与所述目标表对应的中间表;所述中间表分别与每一其他服务器中的数据表之间存在预设的对应关系;
[0034]第二确定单元,用于根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步
数据的中间表;其中,所述预设的数据映射规则信息表征中间表的字段与其他服务器中的数据表的字段之间的映射关系;
[0035]整合单元,用于根据预设的整合规则信息,对多个包含初步数据的中间表进行整合处理,得到整合后的包含目标数据的中间表;
[0036]第三确定单元,用于根据整合后的包含目标数据的中间表,得到包含目标数据的目标表,以完成数据迁移;其中,所述整合规则信息用于指示针对初步数据的筛选规则信息。
[0037]进一步地,所述整合单元,包括;
[0038]第一确定模块,用于若确定多个中间表中每一中间表的预设的主键对应有不同的初步数据,则确定每一中间表的预设的主键的优先级;其中,所述主键表征中间表的每一条记录的标识;
[0039]保留模块,用于基于预设的整合规则信息,保留优先级最高的主键对应的初步数据;
[0040]整合模块,用于根据优先级最高的主键对应的初步数据,得到整合后的包含目标数据的中间表。
[0041]进一步地,所述第二确定单元,包括:
[0042]发送模块,用于根据预设的数据映射规则信息,分别向与所述中间表对应的每一所述其他服务器发送数据获取指令,以使每一所述其他服务器分别根据所述数据获取指令,从每一所述其他服务器对应的本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:响应于接收到的数据迁移请求,其中,所述数据迁移请求用于指示从多个其他服务器中获取数据,确定用于存储目标数据的目标表、以及与所述目标表对应的中间表;所述中间表分别与每一其他服务器中的数据表之间存在预设的对应关系;根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表;其中,所述预设的数据映射规则信息表征中间表的字段与其他服务器中的数据表的字段之间的映射关系;根据预设的整合规则信息,对多个包含初步数据的中间表进行整合处理,得到整合后的包含目标数据的中间表;并根据整合后的包含目标数据的中间表,得到包含目标数据的目标表,以完成数据迁移;其中,所述整合规则信息用于指示针对初步数据的筛选规则信息。2.根据权利要求1所述的方法,其特征在于,所述根据预设的整合规则信息,对多个包含初步数据的中间表进行整合处理,得到整合后的包含目标数据的中间表,包括;若确定多个中间表中每一中间表的预设的主键对应有不同的初步数据,则根据每一包含初步数据的中间表的预设的主键,确定每一中间表的所述主键的优先级;其中,所述主键表征中间表的每一条记录的标识;基于预设的整合规则信息,保留优先级最高的主键对应的初步数据;根据优先级最高的主键对应的初步数据,得到整合后的包含目标数据的中间表。3.根据权利要求1所述的方法,其特征在于,所述根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表,包括:根据预设的数据映射规则信息,分别向与所述中间表对应的每一所述其他服务器发送数据获取指令,以使每一所述其他服务器分别根据所述数据获取指令,从每一所述其他服务器对应的至少一个数据表内获取初步数据;接收与所述中间表对应的每一其他服务器发送的所述初步数据;根据与所述中间表对应的每一其他服务器发送的所述初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表。4.根据权利要求1所述的方法,其特征在于,所述根据预设的数据映射规则信息,分别获取与所述中间表对应的每一其他服务器中的数据表内的初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表,包括:获取每一所述其他服务器发送的至少一个数据表;在每一所述其他服务器发送的至少一个数据表中,基于预设的数据映射规则信息,获取与所述中间表对应的每一其他服务器中的数据表内的初步数据;根据与所述中间表对应的每一其他服务器发送的所述初步数据,得到与每一其他服务器对应的包含所述初步数据的中间表。5.根据权利要求1所述的方法,其特征在于,所述根据整合后的包含目标数据的中间表,得到包含目标数据的目标表,包括:根...

【专利技术属性】
技术研发人员:胡汝敖张颖
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1