数据校验的方法、装置以及计算设备制造方法及图纸

技术编号:42085544 阅读:17 留言:0更新日期:2024-07-19 17:01
一种数据校验的方法、装置以及计算设备,该方法应用于云管理平台,该方法包括:云管理平台获取行标识集合,根据所述行标识集合,同时从源端数据库和目的端数据库分别获取第一数据集合和第二数据集合,并校验第一数据集合中的增量数据和第二数据集合中的增量数据是否一致,行标识集合中包括的多个行标识是分别从源端数据库的第一日志文件和目的端数据库的第二日志文件中获取的,第一数据集合中包括源端数据库中多个行标识分别对应的完整的增量数据,第二数据集合中包括目的端数据库中多个行标识分别对应的完整的增量数据。该方法能够实现源端数据库和目的端数据库两边所有的增量变化数据的精确对比,提高对比结果的可靠性。

【技术实现步骤摘要】

本申请涉及云计算领域,并且更具体地,涉及一种数据校验的方法、装置以及计算设备


技术介绍

1、随着对数据安全的重视,在容灾场景中,为了提升数据可靠性,一般采用数据库准实时同步技术,即基于数据库逻辑日志进行同步。但数据在同步的过程中可能会出现存储坏块、传输数据损毁、数据处理bug、数据冲突、配置错误、静默数据错误等原因导致源端数据库和目的端数据库的数据出现不一致。一方面,在数据同步过程中,需要及时发现不一致的数据,并且及时进行数据修复,从而实现数据实时可信,而不是等到故障发生后才发现。另一方面,如果已经发生容灾故障,需要快速确认源端数据库和目的端数据库的数据差异,以便决定是否进行自动切换,支撑业务准确决策,同时这些差异数据也可以方便在故障恢复之后找回丢失的数据。因此,及时发现源端数据库和目的端数据库中的数据是否一致显得尤为重要。

2、相关的技术方案中,依赖复制软件的中间日志文件,通过复制软件产生的中间日志数据与目的端数据库在接收复制数据后产生的redo日志进行比对,验证复制数据是否在redo日志中正确出现,基于验证结果确认数据是否在数据库中正确复本文档来自技高网...

【技术保护点】

1.一种数据校验的方法,其特征在于,所述方法应用于云管理平台,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一日志文件为所述源端数据库的重做redo日志,所述第二日志文件为所述目的端数据库的重做redo日志。

3.根据权利要求1或2所述的方法,其特征在于,在所述云管理平台根据所述行标识集合,同时从所述源端数据库和所述目的端数据库分别获取第一数据集合和第二数据集合之前,所述方法还包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述云管理平台校验所述第一数据集合中的增量数据和所述第二数据集合中的增量数据是否一致,包括:...

【技术特征摘要】

1.一种数据校验的方法,其特征在于,所述方法应用于云管理平台,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一日志文件为所述源端数据库的重做redo日志,所述第二日志文件为所述目的端数据库的重做redo日志。

3.根据权利要求1或2所述的方法,其特征在于,在所述云管理平台根据所述行标识集合,同时从所述源端数据库和所述目的端数据库分别获取第一数据集合和第二数据集合之前,所述方法还包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述云管理平台校验所述第一数据集合中的增量数据和所述第二数据集合中的增量数据是否一致,包括:

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述云管理平台校验所述第一数据集合中的增量数据和所述第二数据集合中的增量数据是否一致,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述目的端数据库为云原生数据库。

8.一种数据校验的装置,其特征在于,所述装置应用于云管理平台,所述装置包括:

9.根据权利要求8所述的装置,其特征在于,所述第一日志文件为所述源端数据库的重做redo日志,所述第二日志文件为所述目的端数据库的重做redo日志。

10.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:

...

【专利技术属性】
技术研发人员:张帆杨若鹏王康威
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1