数据增量同步方法和系统技术方案

本发明专利技术提供了一种数据增量同步方法和系统，该方法应用于一种数据增量同步系统，包括第一数据库，服务器，终端集合和第二数据库该方法包括：服务器从第一数据库获取第一数据库的日志，对第一数据库的日志进行解析并存储解析结果；终端集合通过服务器判断第一数据库的数据是否发生变更；若终端集合判断第一数据库的数据发生变更，则终端集合中的每个终端，根据预设的负载均衡和信任度策略，选取预设数量的终端作为执行终端；执行终端从服务器获取解析结果所对应的第一数据库中发生变更的数据，并将第一数据库中发生变更的数据增量同步到第二数据库中。本发明专利技术能够提高数据增量同步的效率和安全性。效率和安全性。效率和安全性。

【技术实现步骤摘要】
数据增量同步方法和系统


[0001]本专利技术属于计算机
，尤其涉及一种数据增量同步的方法和系统。

技术介绍

[0002]互联网的高速发展促进了传统产业的转型与升级，在与互联网融合的过程中，越来越多的企事业单位、政府政务系统等都实现了业务的信息化。但是各个信息化系统并不统一，各个系统的数据库之间很难进行数据共享。
[0003]但是，在很多应用场景下，需要进行不同数据库间的数据共享和数据同步，其中，数据同步是指当一个数据库中的数据发生变更后，通常需要将变更同步到其他数据库，以保证整个系统中数据的一致性。
[0004]现有的数据同步方法分为全量同步和增量同步两类。全量同步是指从源数据库中读取所有的数据，然后将这些数据进行一定的转化后应用到目标数据库，这种方法虽然实现简单，但耗时较长，数据的实时一致性较差。增量同步是指每次只同步在上一次同步之后发生变更的数据，用时较少，数据的实时一致性较好。
[0005]如何提高数据增量同步的效率和安全性，是现有的增量同步方案中急需解决的问题。

技术实现思路
<br/>[0006]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据增量同步方法，其特征在于，该方法应用于一种数据增量同步系统，该系统包括第一数据库，服务器，终端集合和第二数据库，其中所述终端集合包含N个终端，N大于等于2，所述服务器分别和所述第一数据库、所述终端集合通信，所述终端集合还和所述第二数据库通信，该方法包括：所述服务器从所述第一数据库获取所述第一数据库的日志，对所述第一数据库的日志进行解析并存储解析结果；所述终端集合通过所述服务器判断所述第一数据库的数据是否发生变更，其中，所述服务器根据所述解析结果判断所述第一数据库是否发生数据变更；若所述终端集合判断所述第一数据库的数据发生变更，则所述终端集合中的每个终端，根据预设的负载均衡和信任度策略，选取预设数量的终端作为执行终端；所述执行终端从所述服务器获取所述解析结果所对应的所述第一数据库中发生变更的数据，并将所述第一数据库中发生变更的数据增量同步到所述第二数据库中。2.根据权利要求1所述的方法，其特征在于，所述终端集合通过所述服务器判断所述第一数据库的数据是否发生变更包括：若所述服务器根据所述解析结果判断所述第一数据库的数据发生变更，则所述服务器向所述终端集合发布广播消息，所述广播消息用于表示所述第一数据库的数据发生了变更；或，所述终端集合中的任一终端每隔预设时间间隔向所述服务器发送查询消息，所述查询消息用于查询所述第一数据库在该预设时间间隔所对应的时间段内是否发生数据变更。3.根据权利要求1所述的方法，其特征在于，所述终端集合中的每个终端，根据预设的负载均衡和信任度策略，选取预设数量的终端作为执行终端包括：针对所述终端集合中的任一终端，所述终端获取所述服务器对所述终端的信任度评分；所述终端根据自身的中央处理器CPU的性能指标，获取自身的数据处理能力评分；所述终端根据所述信任度评分、自身的数据处理能力评分以及预设的权重值，获取自身的综合评分；所述终端将自身的综合评分在所述终端集合中进行广播；所述终端集合中的所有终端依据每个终端的综合评分，选举出预设数量的终端作为执行终端。4.根据权利要求3所述的方法，其特征在于，所述终端集合中的所有终端依据每个终端的综合评分，选举出预设数量的终端作为执行终端包括：所述终端集合中的所有终端对每个终端的综合评分按照从高到低的顺序进行排序，选取排序结果中的前预设数量的终端作为执行终端。5.根据权利要求2所述的方法，其特征在于，所述终端获取所述服务器对所述终端的信任度评分包括：所述服务器根据所述终端所对应的预设信任指标对所述终端进行信任度评分，其中，所述终端所对应的预设信任指标包括所述终端的网络位置信息、所述终端的设备类型、所述终端的网络接入方式、所述终端的历史丢包率、...

【专利技术属性】
技术研发人员：冷晓宁，安平凯，
申请(专利权)人：中科恒运股份有限公司，
类型：发明
国别省市：