【技术实现步骤摘要】
数据库中数据迁移的方法及装置
本专利技术涉及大数据
,尤其涉及一种用于数据库的数据迁移装置和数据迁移方法。
技术介绍
随着企业规模的逐渐壮大,需要投入更多的成本维护支撑企业的数据库系统。而不论是新业务系统上线,还是老系统的升级备份,都会涉及到数据迁移业务。在大型企业中通常不止一个源数据库,各数据库间的交互关系复杂,经常会出现数据质量问题,普通的数据导入导出方案已经无法应对这种复杂多变的数据迁移。而且,数据迁移过程一般耗时较长,在数据迁移前若不重视数据校验,容易导致的后果是一旦迁移的数据发生错误,则需要重新迁移,造成了时间和资源上的极大浪费。现有技术中,通常采取的是对迁移的数据进行全量校验方案,此种校验方案速度慢效率低,增加了数据迁移的耗时。
技术实现思路
本专利技术的目的在于提供一种数据库中数据迁移的方法及装置,采用的伪随机校验方案能够在确保数据迁移通过率和准确率的同时保证数据迁移的效率。为了实现上述目的,本专利技术的一方面提供一种数据库中数据迁移的方法,包括: >配置源数据库至目标本文档来自技高网...
【技术保护点】
1.一种数据库中数据迁移的方法,其特征在于,包括:/n配置源数据库至目标数据库的数据迁移规则,并基于源数据库与目标数据库中的字段异构建立字段映射模型;/n根据所述数据迁移规则从源数据库获取迁移数据,封装成至少一个XML文件发送至所述目标数据库,所述XML文件包括数据内容和数据字典信息;/n解析所述XML文件并读取数据内容和数据字典信息,参照伪随机序列抽取对应部分的数据内容执行校验操作;/n将校验通过的所述XML文件中全部数据内容的字段,依照所述字段映射模型进行数据转换后迁入目标数据库。/n
【技术特征摘要】
1.一种数据库中数据迁移的方法,其特征在于,包括:
配置源数据库至目标数据库的数据迁移规则,并基于源数据库与目标数据库中的字段异构建立字段映射模型;
根据所述数据迁移规则从源数据库获取迁移数据,封装成至少一个XML文件发送至所述目标数据库,所述XML文件包括数据内容和数据字典信息;
解析所述XML文件并读取数据内容和数据字典信息,参照伪随机序列抽取对应部分的数据内容执行校验操作;
将校验通过的所述XML文件中全部数据内容的字段,依照所述字段映射模型进行数据转换后迁入目标数据库。
2.根据权利要求1所述的方法,其特征在于,所述数据迁移规则分为一般性规则和校验性规则;
所述一般性规则包括数据迁移范围规则、数据迁移增全量规则和数据传输时效性规则;
所述校验性规则包括数据文件接口校验规则、数据文件一致性校验规则和数据文件命名校验规则。
3.根据权利要求2所述的方法,其特征在于,所述字段映射模型中包括多个映射字段,所述映射字段用于将源数据库中的字段一一对应的转换为目标数据库中的字段,所述转换操作包括合并、拆分、计算、值替换、格式转换中的一种或多种。
4.根据权利要求2或3所述的方法,其特征在于,根据所述数据迁移规则从源数据库获取迁移数据,封装成至少一个XML文件发送至所述目标数据库的方法包括:
根据所述数据迁移范围规则,从源数据库抽取对应范围的源表数据;
将所述源表数据拆分成一份或多份,并根据所述源表数据拆分的份数一一对应的生成XML文件;
将所述XML文件由源数据库发送至目标数据库进行校验。
5.根据权利要求4所述的方法,其特征在于,所述伪随机序列的生成方法为:
采用线性同余法作为伪随机序列算法生成伪随机序列。
6.根据权利要求5所述的方法,其特征在于,解析所述XML文件并读取数据内容和数据字典信息,参照伪随机序列抽取对应部分的数据内容执行校验操作的方法包括:
采用DOM4J解析器解析所述XML文件,读取XML文件的数据内容和数据字典信息;
参照伪随机序列并结合数据字典信息,从数据内容中抽取对应行数的内容进行校验,且在校验错误时回执报错。
7.根据...
【专利技术属性】
技术研发人员:李俊涛,蔡苗,陈震宇,刘国华,
申请(专利权)人:中国邮政储蓄银行股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。