数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、电子设备及存储介质，可以应用于地图、交通等应用程序的数据同步。该方法包括：若基于第一预设通路监测到第二数据服务系统发生数据变更，根据第一预设通路传输的第一增量数据更新第一数据服务系统中的历史业务数据，若存在数据冲突，根据统一冲突处理策略进行数据冲突处理，得到第一业务数据；若基于第一数据订阅通路监测到第二数据服务系统发生数据变更，根据第一数据订阅通路推送的第二增量数据更新第一业务数据，若存在数据冲突，确定冲突数据的目标数据提供方；基于目标数据提供方的自定义冲突处理策略对冲突数据进行冲突处理。本申请的技术方案可以满足数据处理效率和自定义冲突处理的双重需求。理的双重需求。理的双重需求。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]数据提供方一般会在多个数据库中存储数据，例如在多个云数据库中存储数据，使得流量可以在多个云数据库中灵活切换。基于此，一般需要进行多个云数据库的数据同步，在数据同步时经常会出现数据冲突，而不同厂商的云数据库具有各自的数据冲突处理策略，并且各厂商的数据冲突处理策略比较固定，以统一且稳定地为不同数据提供方提供数据冲突处理，这样也能够适应大多类型数据的冲突处理要求。
[0003]上述数据冲突的统一处理方式，使得不同数据提供方的数据冲突处理方式不仅单一，也会导致部分的数据同步不够精准；而现有的云数据库的数据同步方式是以同步速度为目标的，以满足流量快速切换的需要，因此，如何在保证现有数据同步方式的同步速度的基础上，提升数据同步精度，是亟需解决的问题。

技术实现思路

[0004]有鉴于上述存在的技术问题，本申请提出了数据处理方法、装置、电子设备及存储介质。
[0005]根据本申请的一方面，提供了一种数据处理方法，所述方法包括：
[0006]在基于第一预设通路监测到第二数据服务系统发生数据变更的情况下，根据所述第一预设通路传输的第一增量数据更新所述第一数据服务系统中的历史业务数据，若存在数据冲突，根据第一预设冲突处理策略进行数据冲突处理，得到第一业务数据；所述第一预设冲突处理策略为所述第一数据服务系统对应的统一冲突处理策略；
[0007]在基于第一数据订阅通路监测到所述第二数据服务系统发生数据变更的情况下，根据所述第一数据订阅通路推送的第二增量数据更新所述第一业务数据，若存在数据冲突，确定冲突数据的目标数据提供方；
[0008]获取所述目标数据提供方对应的自定义冲突处理策略；
[0009]基于所述自定义冲突处理策略，对所述冲突数据进行冲突处理。
[0010]根据本申请的另一方面，提供了一种数据处理装置，包括：
[0011]第一同步模块，用于在基于第一预设通路监测到第二数据服务系统发生数据变更的情况下，根据所述第一预设通路传输的第一增量数据更新所述第一数据服务系统中的历史业务数据，若存在数据冲突，根据第一预设冲突处理策略进行数据冲突处理，得到第一业务数据；所述第一预设冲突处理策略为所述第一数据服务系统对应的统一冲突处理策略；
[0012]第二同步模块，用于在基于第一数据订阅通路监测到所述第二数据服务系统发生数据变更的情况下，根据所述第一数据订阅通路推送的第二增量数据更新所述第一业务数据，若存在数据冲突，确定冲突数据的目标数据提供方；
[0013]冲突处理策略获取模块，用于获取所述目标数据提供方对应的自定义冲突处理策略；
[0014]冲突处理模块，用于基于所述自定义冲突处理策略，对所述冲突数据进行冲突处理。
[0015]根据本申请的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
[0016]根据本申请的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
[0017]根据本申请的另一方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行上述方法。
[0018]通过两个通路来监测第二数据服务系统的数据变更，使得第一数据服务系统的数据同步处理既可以基于第一预设通路保证同步速率，为数据提供方的流量平滑切换提供保障；又可以基于第一数据订阅通路来满足数据提供方的自定义处理需求，使得不同数据提供方的数据同步可以根据不同数据提供方的自定义冲突处理，实现精细化、细粒度的数据同步，从而可以满足数据提供方的数据同步效率和自定义处理的双重要求；
[0019]并且，第一数据订阅通路的同步速度较低，使得自定义冲突处理可以在统一冲突处理之后，使得数据提供方的自定义冲突处理可以覆盖统一冲突处理，合理满足数据提供方的自定义冲突处理需求；
[0020]另外，该双通路的数据同步方式，使得数据提供方的自定义冲突处理策略不会对数据服务系统的统一冲突处理策略造成代码入侵，保障了数据服务系统的安全性和数据管理的统一性。
[0021]根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
[0022]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
[0023]图1示出根据本申请一实施例提供的一种应用系统的示意图。
[0024]图2示出根据本申请一实施例提供的一种数据处理方法的流程图。
[0025]图3示出根据本申请一实施例提供的一种双向数据同步的运行架构示意图。
[0026]图4示出根据本申请一实施例提供的一种获取目标数据提供方对应的自定义冲突处理策略的方法流程图。
[0027]图5示出根据本申请一实施例提供的一种双向数据同步的逻辑架构示意图。
[0028]图6示出根据本申请一实施例提供的一种数据处理装置的框图。
[0029]图7示出根据本申请一实施例提供的一种用于数据处理的电子设备的框图。
具体实施方式
[0030]以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除
非特别指出，不必按比例绘制附图。
[0031]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0032]另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
[0033]请参阅图1，图1示出根据本申请一实施例提供的一种应用系统的示意图。所述应用系统可以用于本申请的数据处理方法，即数据同步处理。如图1所示，该应用系统至少可以包括第一数据服务系统01、第二数据服务系统02、数据提供方03以及终端04(终端的统称)。
[0034]本申请实施例中，第一数据服务系统01可以用于数据处理，该第一数据服务系统01可以是云服务系统，例如公有云、私有云等。该第一数据服务系统01可以提供数据传输服务DTS(Data Transmission Service)以及数据订阅等功能。例如，第一数据服务系统01可以包括提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于第一数据服务系统；所述方法包括：在基于第一预设通路监测到第二数据服务系统发生数据变更的情况下，根据所述第一预设通路传输的第一增量数据更新所述第一数据服务系统中的历史业务数据，若存在数据冲突，根据第一预设冲突处理策略进行数据冲突处理，得到第一业务数据；所述第一预设冲突处理策略为所述第一数据服务系统对应的统一冲突处理策略；在基于第一数据订阅通路监测到所述第二数据服务系统发生数据变更的情况下，根据所述第一数据订阅通路推送的第二增量数据更新所述第一业务数据，若存在数据冲突，确定冲突数据的目标数据提供方；获取所述目标数据提供方对应的自定义冲突处理策略；基于所述自定义冲突处理策略，对所述冲突数据进行冲突处理。2.根据权利要求1所述的方法，其特征在于，所述获取所述目标数据提供方对应的自定义冲突处理策略，包括：获取所述目标数据提供方对应的自定义冲突处理配置信息；所述自定义冲突处理配置信息包括业务类型与第一预设冲突处理策略的映射关系；确定所述冲突数据的目标业务类型；根据所述映射关系，确定所述目标业务类型对应的第一预设冲突处理策略，作为所述自定义冲突处理策略。3.根据权利要求1或2所述的方法，其特征在于，所述冲突数据包括处于所述第一业务数据中的第一冲突数据以及处于所述第二增量数据中的第二冲突数据；所述基于所述自定义冲突处理策略，对所述冲突数据进行冲突处理，包括：获取所述第一冲突数据的第一业务状态、所述第二冲突数据的第二业务状态、以及所述目标数据提供方为所述第二冲突数据设置的预设状态转换信息；所述预设状态转换信息表征多个业务状态之间的转换关系；若在所述预设状态转换信息中，所述第二业务状态处于所述第一业务状态之后，基于所述自定义冲突处理策略，对所述冲突数据进行冲突处理。4.根据权利要求3所述的方法，其特征在于，所述基于所述自定义冲突处理策略，对所述冲突数据进行冲突处理，包括：若所述第二业务状态为所述预设状态转换信息中处于末端的业务状态，利用所述第二冲突数据覆盖所述第一冲突数据。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述方法还包括：响应于所述目标数据提供方的冲突处理配置请求，从所述冲突处理配置请求中提取待配置的业务类型和待配置的预设冲突处理策略的映射关系；基于所述待配置的业务类型和待配置的预设冲突处理策略的映射关系，更新所述自定义冲突处理配置信息。6.根据权利要求1或4所述的方法，其特征在于，所述在基于第一数据订阅通路监测到所述第二数据服务系统发生数据变更的情况下，根据所述第一数据订阅通路推送的第二增量数据更新所述第一业务数据，包括：基于所述第一数据订阅通路监测所述第二数据服务系统中的预设订阅数据；所述预设订阅数据为至少一个数据提供方预先订阅的数据；
在所述预设订阅数据发生...

【专利技术属性】
技术研发人员：王硕，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：