数据同步方法、系统及计算机可读存储介质技术方案

技术编号:33528311 阅读:30 留言:0更新日期:2022-05-19 01:54
本申请公开了一种数据同步方法、装置及计算机可读存储介质,属于数据同步校验领域。所述方法包括:从第一设备处获取第一元数据记录表,从第二设备处获取第二元数据记录表。根据第一元数据记录表和第一元数据记录表,确定第一元数据记录表的表结构与第二元数据记录表的表结构之间的差异类型。在差异类型为第一差异类型时,执行数据同步操作;在差异类型为第二差异类型时,不执行数据同步操作,其中,数据同步操作为将第一元数据记录表中第一数据同步至第二元数据记录表。本申请通过数据同步前的校验,判断第一设备和第二设备中元数据的差异类型,根据差异类型,能够及时识别出元数据的不同,从而可以及时的进行提前预警及反馈处理。理。理。

【技术实现步骤摘要】
数据同步方法、系统及计算机可读存储介质


[0001]本申请涉及数据同步领域,特别涉及一种数据同步方法、装置及计算机可读存储介质。

技术介绍

[0002]数据已经成为企业非常依赖的重要资产,数据质量的好坏直接关系到信息的精准度,而数据校验是实现数据质量重要的一环。目前大多数公司在数据同步校验方面都有适合自己业务的方案。当业务版本更替较快时,在同步数据的时候可能存在由于业务数据变更或沟通不及时导致同步失败或者所同步的数据不完整,从而导致下游数据在使用时候无法及时获得最新的业务数据。

技术实现思路

[0003]本申请提供了一种数据同步方法、装置及计算机可读存储介质,当源数据端的元数据发生变化时,能够及时识别出源数据端与目标端的元数据的不同,并根据差异类型确定是否进行数据同步。
[0004]所述技术方案如下:
[0005]第一方面,提供了一种数据同步方法,所述方法包括:从第一设备处获取第一元数据记录表,以及从第二设备处获取第二元数据记录表。根据所述第一元数据记录表和所述第二元数据记录表,确定所述第一元数据记录表与所述第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法,其特征在于,所述方法包括:从第一设备处获取第一元数据记录表,以及从第二设备处获取第二元数据记录表;根据所述第一元数据记录表和所述第二元数据记录表,确定所述第一元数据记录表的表结构与所述第二元数据记录表的表结构之间的差异类型;在所述差异类型为第一差异类型时,则执行数据同步操作;在所述差异类型为第二差异类型时,则不执行数据同步操作;其中,所述数据同步操作为将所述第一元数据记录表中第一数据同步至所述第二元数据记录表。2.如权利要求1所述的方法,其特征在于,所述根据所述第一元数据记录表和所述第二元数据记录表,确定所述第一元数据记录表的表结构与所述第二元数据记录表的表结构之间的差异类型,包括:若所述第一元数据记录表包括所述第二元数据记录表,表征所述第一元数据记录表的表结构和所述第二元数据记录表的表结构一致,或者所述第一元数据记录表的表结构中相对于所述第二元数据记录表的表结构中存在增加字段,且所述差异类型为第一差异类型;若所述第一元数据记录表不包括所述第二元数据记录表,则表征所述第一元数据记录表相对于所述第二元数据记录表存在修改和/或删除的字段,且所述差异类型为第二差异类型。3.如权利要求2所述的方法,其特征在于,所述方法还包括:所述差异类型为所述第一差异类型,且所述第一元数据记录表的表结构中相对于所述第二元数据记录表的表结构中存在增加字段时,发出第一监控告警,所述第一监控告警用于提示所述第一元数据记录表相对于所述第二元数据记录表存在增加字段的情况;所述差异类型为所述第二差异类型时,发出第二监控告警,所述第二监控告警用于提示所述第一元数据记录表相对于所述第二元数据记录表存在修改和/或删除字段的情况。4.如权利要求1所述的方法,其特征在于,从第一设备处获取第一元数据记录表,以及从第二设备处获取第二元数据记录表,包括:获取待同步数据的请求,所述待同步数据的请求中包括待同步的数据类型;根据待同步的数据类型,从配置表中获取第一元数据记录表的名称信息,根据所述第一元数据记录表的名称信息从第一设备处获取第一元数据记录表和从第二设备处获取第二元数据记录表。5.如权利要求4所述的方法,其特征在于,根据所述第一元数据记录表和所述第二元数据记录表,确定所述第一元数据记录表的表结构与所述第二元数据记录表的表结构之间的差异类型,包括:根据所述待同步的数据类型,确定是否需要进行数据校验;若需要进行...

【专利技术属性】
技术研发人员:曹科伟王树兵曾庆勇
申请(专利权)人:深圳市普渡科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1