数据合并的实现方法、装置、系统及存储介质制造方法及图纸

本发明专利技术公开了一种数据合并的实现方法、装置、系统及存储介质，其方法包括：在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间；根据不同副本上数据最近操作的时间，保留各副本上数据的最后更新结果；基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致。本发明专利技术解决了分布式系统中，当日志无法接续或者多主访问导致数据更新冲突的技术问题。此外，通过将被删除数据的主键保存于预设的主键删除队列中，解决数据合并发生时，删除操作与增、改操作的合并处理。

Implementation method, device, system and storage medium of data merging

【技术实现步骤摘要】
数据合并的实现方法、装置、系统及存储介质
本专利技术涉及分布式数据
，尤其涉及一种分布式数据库副本间数据合并的实现方法、装置、系统及存储介质。
技术介绍
UDSF(UnstructuredDataStoragenetworkfunction，非结构化数据存储功能)作为5G核心网中存储非结构化数据的数据库网元，面临诸多性能需求：多业务共享访问库、极低的响应时延。因此，要求UDSF网元具备更高的系统吞吐量、数据存储容量、极低的响应时延。分布式数据库(DDB，DistributedDatabase)技术是解决5G核心网对数据存取高性能要求的必然技术手段。分布式数据库系统中，副本的存取模式，可分为主备模式、主主模式。其中，在主备模式下，所有副本均可读，只有在选举出的主副本上进行写；在主主模式下，所有副本均可读、写。因此，主主访问模式，具备更高的访问性能。但主主模式下，必须解决所引入的新的场景问题：主主模式下，副本自身日志缓冲区溢出时，导致其它副本无法读取连续日志，而无法应用后续日志，造成副本间数据不一致；主主模式下，同一数据在多个副本上并发修改，副本间应用日志时，发现被修改数据最近操作时间与日志中携带时间不一，从而无法应用日志。
技术实现思路
本专利技术的主要目的在于提供一种分布式数据库副本间数据合并的实现方法、装置、系统及存储介质，以解决分布式系统中，当日志无法接续或者多主访问导致数据更新冲突的技术问题，实现副本间数据的一致性。为实现上述目的，本专利技术提供的一种数据合并的实现方法，所述方法应用于分布式数据库系统，所述方法包括：在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间；根据不同副本上数据最近操作的时间，保留各副本上数据的最后更新结果；基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致。可选地，所述在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间的步骤之前还包括：在分布式数据库处于主主工作模式进行副本存取时，检测是否存在副本自身日志缓冲区溢出，导致其它副本无法读取连续日志；若是，则检测到多个副本间数据不一致。可选地，所述在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间的步骤之前还包括：在分布式数据库处于主主工作模式进行副本存取时，若同一数据在多个副本上并发修改，并在副本间应用日志时，检测被修改数据最近操作时间与日志中携带时间是否一致，若不一致，则检测到多个副本间数据不一致。可选地，所述基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致的步骤中包括：若多个副本均发生数据更新，则发起双向数据合并。可选地，所述方法还包括：在接收到删除请求或应用其它副本的删除操作日志，以删除当前副本上的数据时，将当前副本上被删除数据的主键及删除操作时间，保存于预设的主键存储队列。可选地，所述方法还包括：在接收到增加数据请求，以在副本上增加新的数据时，使用新增数据的主键从所述主键存储队列中删除相应的队列元素。可选地，所述方法还包括：在副本应用增加操作日志时，使用待新增数据的主键查询所述主键存储队列；如果所述主键存储队列中不存在对应待新增数据的删除操作记录，则在当前副本中插入对应的待新增数据；否则，比较应用的增加操作日志中携带的增加操作时间和所述主键存储队列中保存的删除操作时间，若前者大于后者，则插入对应的待新增数据；若前者不大于后者，则不插入对应的待新增数据。可选地，所述方法还包括：在副本应用修改操作日志时，比较应用的修改操作日志中携带的数据被修改的操作时间和被修改数据的最近操作时间；若被修改数据的最近操作时间不等于修改操作日志中携带的数据被修改的操作时间，则针对该条数据发起数据合并操作。可选地，所述方法还包括：对副本间数据进行恢复处理或在副本上进行主键存储队列中信息的插入处理。可选地，所述方法还包括：若检测到存储主键及删除操作时间的缓存空间使用完毕，则释放所述主键存储队列中所保存删除操作时间最老的队列元素所占空间。本专利技术实施例还提出一种数据合并的实现装置，包括：比较模块，用于在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间；保存模块，用于根据不同副本上数据最近操作的时间，保留各副本上数据的最后更新结果；合并操作模块，用于基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致。本专利技术实施例还提出一种数据合并的实现系统，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据合并的实现方法的步骤。本专利技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据合并的实现方法的步骤。本专利技术实施例提出的一种数据合并的实现方法、装置、系统及存储介质，在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间；根据不同副本上数据最近操作的时间，保留各副本上数据的最后更新结果；基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致，由此，通过日志复制，解决了分布式系统中，当日志无法接续或者多主访问导致数据更新冲突的技术问题。此外，通过将被删除数据的主键保存于预设的主键删除队列中，解决数据合并发生时，删除操作与增、改操作的合并处理，保证了副本间数据的一致性。附图说明图1是本专利技术数据合并的实现方法第一实施例的流程示意图；图2是本专利技术数据合并的实现方法第二实施例的流程示意图；图3是本专利技术数据合并的实现方法第三实施例的流程示意图；图4是本专利技术数据合并的实现方法第四实施例的流程示意图；图5是本专利技术数据合并的实现方法第五实施例的流程示意图；图6是本专利技术数据合并的实现方法第六实施例的流程示意图；图7是本专利技术数据合并的实现方法第七实施例的流程示意图；图8是本专利技术实施例运行环境涉及的系统架构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。为了使本专利技术的技术方案更加清楚、明了，下面将结合附图作进一步详述。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的主要解决方案是：在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一本文档来自技高网...

【技术保护点】
1.一种数据合并的实现方法，其特征在于，所述方法应用于分布式数据库系统，所述方法包括：/n在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间；/n根据不同副本上数据最近操作的时间，保留各副本上数据的最后更新结果；/n基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致。/n

【技术特征摘要】
1.一种数据合并的实现方法，其特征在于，所述方法应用于分布式数据库系统，所述方法包括：
在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间；
根据不同副本上数据最近操作的时间，保留各副本上数据的最后更新结果；
基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致。


2.根据权利要求1所述的数据合并的实现方法，其特征在于，所述在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间的步骤之前还包括：
在分布式数据库处于主主工作模式进行副本存取时，检测是否存在副本自身日志缓冲区溢出，导致其它副本无法读取连续日志；
若是，则检测到多个副本间数据不一致。


3.根据权利要求1所述的数据合并的实现方法，其特征在于，所述在分布式数据库处于主主工作模式进行副本存取，并在检测到多个副本间数据不一致时，比较不同副本上数据最近操作的时间的步骤之前还包括：
在分布式数据库处于主主工作模式进行副本存取时，若同一数据在多个副本上并发修改，并在副本间应用日志时，检测被修改数据最近操作时间与日志中携带时间是否一致，若不一致，则检测到多个副本间数据不一致。


4.根据权利要求1所述的数据合并的实现方法，其特征在于，所述基于各副本上数据的最后更新结果，进行各副本间数据的相互合并操作，使得各副本间数据保持一致的步骤中包括：
若多个副本均发生数据更新，则发起双向数据合并。


5.根据权利要求1所述的数据合并的实现方法，其特征在于，所述方法还包括：
在接收到删除请求或应用其它副本的删除操作日志，以删除当前副本上的数据时，将当前副本上被删除数据的主键及删除操作时间，保存于预设的主键存储队列。


6.根据权利要求5所述的数据合并的实现方法，其特征在于，所述方法还包括：
在接收到增加数据请求，以在副本上增加新的数据时，使用新增数据的主键从所述主键存储队列中删除相应的队列元素。


7.根据权利要求6所述的数据合并的实现方法，其特征在于，所...

【专利技术属性】
技术研发人员：司文武，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44