【技术实现步骤摘要】
一种非同源数据库同步方法及装置
[0001]本申请属于数据库迁移
,具体地讲,涉及一种非同源数据库同步方法及装置。
技术介绍
[0002]在进行非同源数据库迁移时,如何将旧库中的存量数据无损迁移到新库中是其中最基础的一项工作。非同源数据库在进行数据同步时将面临非常多的操作步骤,包括暂停批量任务、生成导出导入脚本、数据导出、数据导入、数据核对、放开批量任务等,并且每个操作都需要确保正确完成以后才能进入下一步操作,因此如果要求人工按照以上步骤逐步核对、逐步操作,逐步完成不但工作量极大且极易出现纰漏,甚至可能导致整个数据同步工作的失败。总而言之,在数据迁移过程中,通常会面临以下几个问题,由于不同的数据库具有不同的特性,在进行数据导出导入时,需要考虑数据库语句的兼容性问题;存量数据中的特殊字符,可能导致在导入数据时产生字段对应、数据行对应的问题,需要考虑数据完整性的问题;数据库每日都要加载新增的数据,需要考虑数据迁移过程中批量加载同步性的问题;数据库每天都要对外提供大量数据传送、报表查询等服务,需要考虑迁移过程对每日正常服务的 ...
【技术保护点】
【技术特征摘要】
1.一种非同源数据库同步方法,其特征在于,包括:根据预存的映射关系表,查找获取的数据表对应的批量任务信息;根据所述批量任务信息对数据表进行加载,并在加载完成后记录加载任务执行日期后进行数据导出;对导出的数据进行格式转换处理,并在格式转换处理后判断在导出的数据中是否存在特殊字符并对数据进行预处理;使用脚本自动生成方法生成数据导入脚本将预处理后的数据导入至目标数据库中。2.根据权利要求1所述的非同源数据库同步方法,其特征在于,还包括:在数据导入目标数据库后,对数据进行比对验证并根据验证结果确定是否进行数据批量加载。3.根据权利要求2所述的非同源数据库同步方法,其特征在于,所述对数据进行比对验证并根据验证结果确定是否进行数据批量加载,包括:调用数据比对工具对新旧环境的数据进行数据比对验证并记录验证结果;如果验证结果一致,则放开原数据库中数据的批量加载;更新目标数据库的批量任务状态以确保原数据库和目标数据库可以同时开始加载相同日期的数据。4.根据权利要求1所述的非同源数据库同步方法,其特征在于,所述根据所述批量任务信息对数据表进行加载,包括:根据所述批量任务信息中的任务状态字段判断任务是否处于完成加载的状态;如果否,则继续执行加载并在延时指定时间后再次判定是否处于完成加载的状态。5.根据权利要求4所述的非同源数据库同步方法,其特征在于,所述在加载完成后记录加载任务执行日期后进行数据导出,包括:如果判断任务处于已完成加载的状态,则将该任务暂停并记录该任务的执行日期;将加载完成后的数据进行导出。6.根据权利要求1所述的非同源数据...
【专利技术属性】
技术研发人员:王巍峰,解春磊,刘延祺,王君毅,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。