数据处理方法、装置、设备及计算机存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及计算机存储介质，涉及大数据技术领域。该数据处理方法包括：获取源端数据库与目标端数据库之间存在差异的数据，形成第一数据集合；基于所述第一数据集合，从所述源端数据库中确定第二数据集合；对所述第一数据集合和所述第二数据集合进行数据融合，形成第一增量修复数据；基于所述第一增量修复数据，对所述目标端数据库进行数据更新；基于所述第一增量修复数据，对所述源端数据库和所述目标端数据库之间的数据进行同步。根据本申请实施例，能够有效减少源端数据库和目标端数据库之间的数据差异。异。异。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机存储介质


[0001]本申请属于大数据
，尤其涉及一种数据处理方法、装置、设备及计算机存储介质。

技术介绍

[0002]在大数据领域中，对于时刻变化的两个异构数据库，通常可以称之为源端数据库和目标端数据库。源端数据库中的数据往往需要向目标端数据库同步，以保证异构系统间的数据一致性。然而，在源端数据库数据基数大、数据变化快，数据传输环节多，系统间数据一致性要求高的场景下，如果数据库间的数据同步链路存在不稳定的情况，或其他环节的数据丢失等，异构数据库之间将丧失数据一致性，使得数据同步变得困难。
[0003]针对上述问题，目前通常是采用数据补采，日志重放，数据回档等方式使遗失数据重新向目标端数据库同步，或重建目标端数据库数据，但这类数据修复方式均存在各类缺陷。例如数据补采方式往往依赖于源端数据库的日志存在，并且需要精确的补采时间；而日志重放方式通常要求源端数据库中的日志永久存储；数据回档方式则会由于目标端数据库进行数据重建，效率较低，从而使得正常系统数据业务受到影响。
[0004]有鉴于上，业务仍然亟待一种新的数据处理方案，以有效修复源端数据库和目标端数据库之间的数据差异。

技术实现思路

[0005]本申请实施例提供一种数据处理方法、装置、设备及计算机存储介质，能够有效减少源端数据库和目标端数据库之间的数据差异。
[0006]第一方面，本申请实施例提供一种数据处理方法，该数据处理方法包括：
[0007]获取源端数据库与目标端数据库之间存在差异的数据，形成第一数据集合；
[0008]基于第一数据集合，从源端数据库中确定第二数据集合；
[0009]对第一数据集合和第二数据集合进行数据融合，形成第一增量修复数据；
[0010]基于第一增量修复数据，对目标端数据库进行数据更新；
[0011]基于第一增量修复数据，对源端数据库和目标端数据库之间的数据进行同步。
[0012]在一些可能的实施方式中，基于第一增量修复数据，对源端数据库和目标端数据库之间的数据进行同步，包括：
[0013]基于第一增量修复数据，从源端数据库和目标端数据库中确定存在差异的数据，形成第三数据集合；
[0014]基于第三数据集合，从源端数据库中确定第四数据集合；
[0015]对第三数据集合和第四数据集合进行数据融合，形成第二增量修复数据；
[0016]若第二增量修复数据的数据量小于第一阈值，对源端数据库和目标端数据库之间的数据进行同步。
[0017]在一些可能的实施方式中，在形成第二增量修复数据之后，该数据处理方法还包
括：
[0018]若第二增量修复数据的数据量大于第一增量修复数据的数据量，则重新获取源端数据库与目标端数据库之间的存在差异的数据，形成新的第一数据集合，以基于新的第一数据集合，重新对源端数据库和目标端数据库之间的数据进行同步。
[0019]在一些可能的实施方式中，在形成第二增量修复数据之后，该数据处理方法还包括：
[0020]若第二增量修复数据的数据量大于或等于第一阈值，并且小于第一增量修复数据的数据量，则基于第二增量修复数据，对目标端数据库进行更新；
[0021]基于第二增量修复数据，对源端数据库和目标端数据库之间的数据进行同步。
[0022]在一些可能的实施方式中，第一数据集合中包括源端数据库和目标端数据库之间存在差异的N个主键，以及与N个主键分别对应的第一明细数据；
[0023]基于第一数据集合，从源端数据库中确定第二数据集合，包括：
[0024]基于N个主键，从源端数据库中查询与N个主键分别对应的第一明细数据存在差异的数据，形成第二数据集合，第二数据集合中包括M个主键分别对应的第二明细数据，M个为N个主键的子集，M小于或者等于N，M为非负整数。
[0025]在一些可能的实施方式中，对第一数据集合和第二数据集合进行数据融合，形成第一增量修复数据，包括：
[0026]基于第一数据集合存在且第二数据集合存在的数据，生成增量更新消息；
[0027]基于第一数据集合存在且第二数据不存在的数据，生成增量删除消息；
[0028]基于第一数据集合不存在且第二数据集合存在的数据，生成增量插入消息。
[0029]在一些可能的实施方式中，第一增量修复数据中的各条数据包括目标时刻的时间戳，目标时刻为对第一数据集合和第二数据集合进行数据融合的时刻；基于第一增量修复数据，对目标端数据库进行数据更新，包括：
[0030]若目标端数据库中的第二数据的时间戳大于或等于目标时刻，则忽略第一数据对应的增量消息；
[0031]若目标端数据库中的第二数据的时间戳小于目标时刻，则将第一数据对应的增量消息入库，以对目标端数据库进行数据更新；
[0032]其中，第一数据为第一增量修复数据中的任一数据，第二数据为目标端数据库中与第一数据对应的数据。
[0033]在一些可能的实施方式中，获取源端数据库与目标端数据库之间存在差异的数据，形成第一数据集合，包括：
[0034]在第一时刻获取源端数据库的全量数据；
[0035]在第二时刻获取目标端数据库的全量数据；
[0036]将源端数据库的全量数据和目标端数据库的全量数据进行比对，得到源端数据库和目标端数据库之间的第一数据集合；
[0037]其中，第一时刻和第二时刻之间的时间间隔小于预设时间阈值。
[0038]第二方面，本申请实施例提供了一种数据处理装置，该数据处理装置包括：
[0039]第一形成模块，用于获取源端数据库与目标端数据库之间存在差异的数据，形成第一数据集合；
[0040]第一确定模块，用于基于第一数据集合，从源端数据库中确定第二数据集合；
[0041]第二形成模块，用于对第一数据集合和第二数据集合进行数据融合，形成第一增量修复数据；
[0042]第一更新模块，用于基于第一增量修复数据，对目标端数据库进行数据更新；
[0043]第二确定模块，用于基于第一增量修复数据，对源端数据库和目标端数据库之间的数据进行同步。
[0044]第三方面，本申请实施例提供了一种数据处理设备，该数据处理设备包括：
[0045]处理器以及存储有计算机程序指令的存储器；
[0046]所述处理器执行所述计算机程序指令时实现如上述本申请实施例中任意一项提供的数据处理方法。
[0047]第四方面，本申请实施例提供了一种计算机存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上述本申请实施例中任意一项提供的数据处理方法。
[0048]第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如上述本申请实施例中任意一项提供的数据处理方法。
[0049]本申请实施例的数据处理方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取源端数据库与目标端数据库之间存在差异的数据，形成第一数据集合；基于所述第一数据集合，从所述源端数据库中确定第二数据集合；对所述第一数据集合和所述第二数据集合进行数据融合，形成第一增量修复数据；基于所述第一增量修复数据，对所述目标端数据库进行数据更新；基于所述第一增量修复数据，对所述源端数据库和所述目标端数据库之间的数据进行同步。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一增量修复数据，对所述源端数据库和所述目标端数据库之间的数据进行同步，包括：基于所述第一增量修复数据，从所述源端数据库和所述目标端数据库中确定存在差异的数据，形成第三数据集合；基于所述第三数据集合，从所述源端数据库中确定第四数据集合；对所述第三数据集合和所述第四数据集合进行数据融合，形成第二增量修复数据；若所述第二增量修复数据的数据量小于第一阈值，对所述源端数据库和所述目标端数据库之间的数据进行同步。3.根据权利要求2所述的方法，其特征在于，在所述形成第二增量修复数据之后，所述方法还包括：若所述第二增量修复数据的数据量大于所述第一增量修复数据的数据量，则重新获取所述源端数据库与目标端数据库之间的存在差异的数据，形成新的第一数据集合，以基于所述新的第一数据集合，重新对所述源端数据库和所述目标端数据库之间的数据进行同步。4.根据权利要求2所述的方法，其特征在于，在所述形成第二增量修复数据之后，所述方法还包括：若所述第二增量修复数据的数据量大于或等于所述第一阈值，并且小于所述第一增量修复数据的数据量，则基于所述第二增量修复数据，对所述目标端数据库进行更新；基于所述第二增量修复数据，对所述源端数据库和所述目标端数据库之间的数据进行同步。5.根据权利要求1所述的方法，其特征在于，所述第一数据集合中包括所述源端数据库和所述目标端数据库之间存在差异的N个主键，以及与所述N个主键分别对应的第一明细数据；所述基于所述第一数据集合，从所述源端数据库中确定第二数据集合，包括：基于所述N个主键，从所述源端数据库中查询与所述N个主键分别对应的第一明细数据存在差异的数据，形成所述第二数据集合，所述第二数据集合中包括所述M个主键分别对应的第二明细数据，所述M个为所述N个主键的子集，M小于或者等于N，M为非负整数。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述对所述第一数据集合和所述第二数据集合进行数据融合，形成第一增量修复数据，包括：基于所述第一数据集...

【专利技术属性】
技术研发人员：彭少凯，郑晓，周松松，陈文，万姝蓓，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：