一种数据表比对方法、装置、电子设备和计算机可读介质制造方法及图纸

技术编号:41755266 阅读:20 留言:0更新日期:2024-06-21 21:38
本公开的实施例公开了一种数据表比对方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取至少两个目标数据表;确定至少两个目标数据表的比对方式;根据比对方式生成关于两个目标数据表的比对任务;执行比对任务,得到至少两个目标数据表的比对结果。该实施方式通过分表,多线程并发,多任务异步,并通过类似循环冗余校验以实现数据表内容比对,可以进行优化定制化量级对比。同时尽可能减少不同数据库版本的SQL语句存在一定差异化,提高数据对比的效率并节省人力成本。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及一种数据表比对方法、装置、电子设备和计算机可读介质


技术介绍

1、数据比对是数据库运维常见的日常任务,大量的数据存储、共享、访问和修改,都需要通过数据比对来保证数据的安全性、完整性和有效性,数据比对已成为现代企业信息系统建设过程中的关键环节。

2、在日常数据研发工作中,会遇到如下常见场景问题,其一为:数据测试人员要对产出多表的一致性进行检测,其二为:数据对账体系,如资金流和订单数据要保持一致,其三为:数据模型迁移过程中,要对迁移前后的数据进行对比,其四为:数据存储在不同库中,例如a存储到odps,b存储到adb,其中ab库中数据必须要保持一致。这些情景需要提供可靠的数据比对服务。

3、目前比较流行的数据比对软件分为触发器类、数据库厂商自研类、数据库文件分析类等。触发器类数据比对的实现比较简单,对资源的消耗比较小,缺点在于字段有变更时,需要及时修改表结构重置流程。数据库厂商自研类数据比对,可以实现多库或单库比较,并生成差异性sql语句,缺点是对于表数据很大情况下,该流程处理效率不高,只针对于一种数据本文档来自技高网...

【技术保护点】

1.一种数据表比对方法,包括:

2.根据权利要求1所述的方法,其中,所述确定所述至少两个目标数据表的比对方式,包括:

3.根据权利要求1所述的方法,其中,所述根据所述比对方式生成关于所述两个目标数据表的比对任务,包括:

4.根据权利要求1所述的方法,其中,所述执行所述比对任务,得到所述至少两个目标数据表的比对结果,包括:

5.根据权利要求4所述的方法,其中,所述方法还包括:

6.根据权利要求1所述的方法,其中,所述方法还包括:

7.根据权利要求6所述的方法,其中,所述方法还包括:

8.一种数据表比对装置,...

【技术特征摘要】

1.一种数据表比对方法,包括:

2.根据权利要求1所述的方法,其中,所述确定所述至少两个目标数据表的比对方式,包括:

3.根据权利要求1所述的方法,其中,所述根据所述比对方式生成关于所述两个目标数据表的比对任务,包括:

4.根据权利要求1所述的方法,其中,所述执行所述比对任务,得到所述至少两个目标数据表的比对结果,包括:

5.根据权利...

【专利技术属性】
技术研发人员:杭立
申请(专利权)人:农信银资金清算中心有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1