数据同步处理方法及装置制造方法及图纸

本公开是关于一种数据同步处理方法及装置。该方法包括：向一第二服务器发送一数据定时同步请求，接收所述第二服务器响应所述数据定时同步请求后根据数据更新时间信息在所述第二服务器上查找到并发送来的一个或多个第一数据；其中，所述定时同步请求携带所述数据更新时间信息；根据一预设数据请求向所述第二服务器发送数据实时同步请求，接收所述第二服务器响应所述数据实时同步请求后在所述第二服务器上查找到并发送来的一个或多个第二数据。本公开可以在数据量过大而无法采用全量同步，同时数据源中又无法准确记录变更时间时，解决大数据量的数据同步问题，提高数据同步效率。

Data synchronization processing method and device

The present disclosure relates to a data synchronization processing method and apparatus. The method comprises: sending a second server data synchronization request, receiving the second server in response to the data synchronization request according to the data update time to find information on the second server and send to one or more of the first data;, the timing synchronization request carrying the the data update time information; according to a preset data and transmits the data request to the second server real-time synchronization request, receiving the second server response to one or more of the second data of the real-time data synchronization request on the server second and sent to find. The invention can solve the data synchronization problem of large data quantity and improve data synchronization efficiency when the amount of data is too large to be synchronized with the whole amount, and the data source cannot record the change time at the same time.

【技术实现步骤摘要】

本公开涉及数据同步
，尤其涉及一种数据同步处理方法及数据同步处理装置。
技术介绍
随着信息化技术的飞速发展，企业信息化建设日益普及。一些企业各部门或者分公司纷纷搭建自己的信息化系统。这样，在这些不同的系统中实现数据的共享、整合时，数据(如在职人员数据和离职人员数据等)的双向同步是一种经常碰到且非常重要的需求。相关技术中，目前对大数据量的数据进行同步时主要有两种方式：一是全量数据同步方式，二是增量数据同步方式。全量数据同步方式要求双方系统有较强的数据读取能力及稳定的网络，该方式耗时长且对双方系统压力大。而增量数据同步方式则要求数据源系统准确记录各数据的如更新时间等变更信息，并实现逻辑删除。但是当数据量过大而无法采用全量数据同步方式，同时数据源系统又无法准确记录各数据的变更信息时，会导致数据同步效率低下，这对大数据量的数据同步提出了新的要求。另外，同步后的数据在目的系统中使用时，如何提高大数据量的数据的读取效率，需要与之适应的数据读取方案，相关技术中目前缺乏相应的解决方案。因此，有必要提供一种新的技术方案改善上述方案中存在的一个或者多个问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种数据同步处理方法及数据同步处理装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开实施例的第一方面，提供一种数据同步处理方法，应用于一第一服务器，所述方法包括：向一第二服务器发送一数据定时同步请求，接收所述第二服务器响应所述数据定时同步请求后根据数据更新时间信息在所述第二服务器上查找到并发送来的一个或多个第一数据；其中，所述定时同步请求携带所述数据更新时间信息；根据一预设数据请求向所述第二服务器发送数据实时同步请求，接收所述第二服务器响应所述数据实时同步请求后在所述第二服务器上查找到并发送来的一个或多个第二数据。本公开的一种示例性实施例中，所述第一服务器上设有第一数据存储表和第二数据存储表；所述方法还包括：查询所述第二数据是否在所述第一数据存储表中，当所述第二数据在所述第一数据存储表中时，更新所述第一数据存储表中的所述第二数据；当所述第二数据不在所述第一数据存储表中时，查询所述第二数据是否在所述第二数据存储表中，当所述第二数据在所述第二数据存储表中时，更新所述第二数据存储表中的所述第二数据；当所述第二数据不在所述第二数据存储表中时，添加所述第二数据到所述第二数据存储表。本公开的一种示例性实施例中，所述更新所述第一数据存储表中的所述第二数据之后，所述方法还包括：判断所述第二数据所表征的对象是否存在，若不存在，则将所述第二数据从所述第一数据存储表转移到所述第二数据存储表；若存在，则不移动数据。本公开的一种示例性实施例中，所述更新所述第二数据存储表中之前存储的所述第二数据之后，所述方法还包括：判断所述第二数据所表征的对象是否存在，若存在，则将所述第二数据从所述第二数据存储表转移到所述第一数据存储表；若不存在，则不移动数据。本公开的一种示例性实施例中，所述第一服务器上设有第一数据存储表和第二数据存储表；所述方法还包括：将所述第一数据存储到所述第一数据存储表中，并检查所述第一数据存储表中是否存在使用频率低于预设值的第三数据，若存在，则将所述第三数据移动至所述第二数据存储表中。根据本公开实施例的第二方面，提供一种数据同步处理装置，应用于一第一服务器，所述装置包括：数据定时同步模块，用于向一第二服务器发送一数据定时同步请求，接收所述第二服务器响应所述数据定时同步请求后根据数据更新时间信息在所述第二服务器上查找到并发送来的一个或多个第一数据；其中，所述定时同步请求携带所述数据更新时间信息；数据实时同步模块，用于根据一预设数据请求向所述第二服务器发送数据实时同步请求，接收所述第二服务器响应所述数据实时同步请求后在所述第二服务器上查找到并发送来的一个或多个第二数据。本公开的一种示例性实施例中，所述第一服务器上设有第一数据存储表和第二数据存储表；所述装置还包括：第一查询更新模块，用于查询所述第二数据是否在所述第一数据存储表中，当所述第二数据在所述第一数据存储表中时，更新所述第一数据存储表中的所述第二数据；第二查询更新模块，用于当所述第二数据不在所述第一数据存储表中时，查询所述第二数据是否在所述第二数据存储表中，当所述第二数据在所述第二数据存储表中时，更新所述第二数据存储表中的所述第二数据；数据添加模块，用于当所述第二数据不在所述第二数据存储表中时，添加所述第二数据到所述第二数据存储表。本公开的一种示例性实施例中，所述装置还包括：第一判断转移模块，用于在所述更新所述第一数据存储表中的所述第二数据之后，判断所述第二数据所表征的对象是否存在，若不存在，则将所述第二数据从所述第一数据存储表转移到所述第二数据存储表；若存在，则不移动数据。本公开的一种示例性实施例中，所述装置还包括：第二判断转移模块，用于在所述更新所述第二数据存储表中之前存储的所述第二数据之后，判断所述第二数据所表征的对象是否存在，若存在，则将所述第二数据从所述第二数据存储表转移到所述第一数据存储表；若不存在，则不移动数据。本公开的一种示例性实施例中，所述第一服务器上设有第一数据存储表和第二数据存储表；所述装置还包括：第三判断转移模块，用于将所述第一数据存储到所述第一数据存储表中，并检查所述第一数据存储表中是否存在使用频率低于预设值的第三数据，若存在，则将所述第三数据移动至所述第二数据存储表中。本公开的实施例提供的技术方案可以包括以下有益效果：本公开的一种实施例中，通过上述数据同步处理方法及装置，将数据定时同步和数据实时同步相结合，对于数据源中准确记录变更时间的数据采用定时批量同步数据，对于数据源中没有准确记录变更时间的数据采用实时同步；这样，一方面，当数据量过大而无法采用全量同步，同时数据源中又无法准确记录变更时间时，解决大数据量的数据同步问题，在一定程度上提高数据同步效率；另一方面，由于不用完全采用实时同步方式，在一定程度上减少了对双方系统的通信网络的要求，降低了对双方系统的压力。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示意性示出本公开示例性实施例中第一数据同步处理方法流程图；图2示意性示出本公开示例性实施例中第二数据同步处理方法流程图；图3示意性示出本公开示例性实施例中第三数据同步处理方法流程图；图4示意性示出本公开示例性实施例中数据同步处理应用场景示意图；图5示意性示出本公开示例性实施例中第一数据同步处理装置示意图；图6示意性示出本公开示例性实施例中第二数据同步处理装置示意图；图7示意性示出本公开示例性实施例中第三本文档来自技高网...

【技术保护点】
一种数据同步处理方法，应用于一第一服务器，其特征在于，所述方法包括：向一第二服务器发送一数据定时同步请求，接收所述第二服务器响应所述数据定时同步请求后根据数据更新时间信息在所述第二服务器上查找到并发送来的一个或多个第一数据；其中，所述定时同步请求携带所述数据更新时间信息；根据一预设数据请求向所述第二服务器发送数据实时同步请求，接收所述第二服务器响应所述数据实时同步请求后在所述第二服务器上查找到并发送来的一个或多个第二数据。

【技术特征摘要】
1.一种数据同步处理方法，应用于一第一服务器，其特征在于，所述方法包括：向一第二服务器发送一数据定时同步请求，接收所述第二服务器响应所述数据定时同步请求后根据数据更新时间信息在所述第二服务器上查找到并发送来的一个或多个第一数据；其中，所述定时同步请求携带所述数据更新时间信息；根据一预设数据请求向所述第二服务器发送数据实时同步请求，接收所述第二服务器响应所述数据实时同步请求后在所述第二服务器上查找到并发送来的一个或多个第二数据。2.根据权利要求1所述的数据同步处理方法，其特征在于，所述第一服务器上设有第一数据存储表和第二数据存储表；所述方法还包括：查询所述第二数据是否在所述第一数据存储表中，当所述第二数据在所述第一数据存储表中时，更新所述第一数据存储表中的所述第二数据；当所述第二数据不在所述第一数据存储表中时，查询所述第二数据是否在所述第二数据存储表中，当所述第二数据在所述第二数据存储表中时，更新所述第二数据存储表中的所述第二数据；当所述第二数据不在所述第二数据存储表中时，添加所述第二数据到所述第二数据存储表。3.根据权利要求2所述的数据同步处理方法，其特征在于，所述更新所述第一数据存储表中的所述第二数据之后，所述方法还包括：判断所述第二数据所表征的对象是否存在，若不存在，则将所述第二数据从所述第一数据存储表转移到所述第二数据存储表；若存在，则不移动数据。4.根据权利要求2所述的数据同步处理方法，其特征在于，所述更新所述第二数据存储表中之前存储的所述第二数据之后，所述方法还包括：判断所述第二数据所表征的对象是否存在，若存在，则将所述第二数据从所述第二数据存储表转移到所述第一数据存储表；若不存在，则不移动数据。5.根据权利要求1所述的数据同步处理方法，其特征在于，所述第一服务器上设有第一数据存储表和第二数据存储表；所述方法还包括：将所述第一数据存储到所述第一数据存储表中，并检查所述第一数据存储表中是否存在使用频率低于预设值的第三数据，若存在，则将所述第三数据移动至所述第二数据存储表中。6.一种数据同步处理装置，应用于一第一服务器，其特征在于，所述装置包括：数据定时同步模块...

【专利技术属性】
技术研发人员：欧阳娅，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：北京;11