【技术实现步骤摘要】
本专利技术涉及数据同步，具体为一种基于快照的无锁全增量一体化数据同步方法。
技术介绍
1、一体化数据同步是一种数据迁移和同步的方法，它通过一个集成的平台或工具实现。
2、公开号为cn110472972b的中国专利公开了一种区块链存储数据同步快照方法及系统，主要通过数据表克隆法和数据库备份法对区块链中输出的交易数据做快照，对每一次输出都会进行快照处理，使得每一笔计算的结果体现在汇总结果上，上述专利虽然解决了数据同步的问题，但是在实际操作中还存在以下问题：
3、1.没有将数据进行校验从而导致同步完成的数据无法进行差错控制，以及没有将数据进行进一步的完整性检测，从而导致数据的有效性降低。
4、2.没有将数据之间进行有效的判断，从而导致数据的处理效率降低，同步性能减弱。
5、3.没有将分片数据中每个分片字段进行日志数据标记，从而导致数据的性能和可读性降低。
技术实现思路
1、本专利技术的目的在于提供一种基于快照的无锁全增量一体化数据同步方法，将队列中插入binlog_end记录，并比较数据剔除分片结果中重复的数据并插入队列，有效的提升了在大数据量下数据处理速度，能够并发读取，状态存储，可以做到提升效率的作用，分片id和分片状态可用于从异常失败中重新恢复未完成的数据分片的再次进行执行，通过标记日志数据，可以更清晰地了解数据的来源、用途和重要性，将数据进行crc校验法进行校验可以在不确定目标同步数据的信息字段和校验字段长度的情况下进行更快速的校验
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于快照的无锁全增量一体化数据同步方法，包括如下步骤：
4、s1：将需要进行处理的源数据进行获取，获取后将源数据传输至待处理库中，并且，当源数据传输至待处理库时，将源数据根据数据的大小选择传输速度最快的传输信道；
5、s2：将待处理库中的源数据进行数据表创建，并将数据表中的数据进行数据分片，将数据分片完成的数据进行日志数据标记；
6、s3：将日志数据标记完成的数据进行数据增量变更判断，并根据判断结果将日志数据标记完成的数据进行变更处理，处理完成后得到目标同步数据；
7、s4：将目标同步数据进行数据校验，并将校验完成的数据进行完整性检测，并将完整性检测完成的数据标记为标准同步数据。
8、优选的，针对s1中选择传输速度最快的传输信道，包括：
9、先将源数据的大小进行确认，其中，将源数据进行相等大小的数据段划分；
10、划分完成后得到若干个相同大小的数据段，根据数据段的数量确认源数据的大小；
11、将传输信道的信道参数进行确认，其中，信道参数包括传输信道的剩余容量和信道饱和度，并且传输信道的数量为五条；
12、根据源数据的大小选择剩余容量大于源数据大小的传输信道；
13、当剩余容量大于源数据大小的传输信道的数量大于一条时，选择信道饱和度最强的最为最终的源数据传输信道。
14、优选的，针对s1中选择传输速度最快的传输信道，还包括：
15、当剩余容量不存在大于源数据大小的传输信道时，调取往前网络通信资源利用率；
16、针对每个传输信道调取每个传输信道的剩余容量的具体数值；
17、调取每个传输信道的历史运行参数，提取每个传输信道的单位时间的通信容量利用率其中，所述单位时间为1s；
18、利用所述每个传输信道的剩余容量的具体数值和通信容量利用率获取每个传输信道的通信评价参数；其中，所述通信评价参数通过如下公式获取：
19、
20、其中，s表示通信评价参数；rs表示传输信道对应的剩余容量；r表示传输信道的信道容量；n表示通信信道已运行的时间长度所包含的单位时间的个数；pi表示传输信道第i个单位时间的通信容量利用率；pe表示传输信道的信道饱和度对应的通信容量利用率；
21、利用所述通信评价参数筛选出用于进行数据传输的候选传输信道，并通过所述候选传输信道获取传输速度最快的传输信。
22、优选的，利用所述通信评价参数筛选出用于进行数据传输的候选传输信道，并通过所述候选传输信道获取传输速度最快的传输信，包括：
23、筛选所述通信评价参数超过预设的参数阈值的传输信道作为候选传输信道；
24、提取所述候选传输信道的信道饱和度；
25、利用所述通信评价参数获取每个传输信道对应的稳定系数；其中，所述稳定系数通过如下公式获取：
26、
27、其中，ξ表示传输信道对应的稳定系数；ξ0表示预设的初始系数值；s表示通信评价参数；s0表示预设的参数阈值；pe表示传输信道的信道饱和度对应的通信容量利用率；pd表示信道当前的通信容量利用率；
28、将所述稳定系数最高的候选传输信道作为目标传输信道，其中，所述目标传输信道即为传输速度最快的传输信道。
29、优选的，针对s2中数据表中的数据进行数据分片，包括：
30、数据表创建时，表中包含三个字段，分别为id、low和high；
31、将数据表中按照索引进行分片，其中，分片的逻辑为取min(id),max(id)并且除以待分片数n，得到每个分片所需数据的区间；
32、分片步长＝[(max(id)-min(id))/n]，得到一个分片信息集合；
33、根据选择值分布均匀并且带索引的字段为分片字段的选取，其中，自增id最佳。
34、优选的，针对s2中的日志数据标记，包括：
35、将分片完成的数据放入至阻塞队列中，其中，数据包括分片id和分片状态，分片状态包括消费状态，异常堆栈，是否执行，数据下标；
36、将阻塞队列中的数据进行标记生成，其中，生成的标记为l和h；
37、根据标记l修改数据表中的数据记录，修改完成后得到事务日志中记录的更新事件，读取该分片内记录的更新事件，并将该更新事件插入队列；
38、根据标记h修改数据表中的数据记录，修改完成后得到事务日志中记录的更新事件。
39、优选的，针对s3中增量变更的判断，包括：
40、将l与h之间是否有增量变更进行判断；
41、其中，判断的标准为根据l与h之间的对比标记属性、标记的关联对象和对比标记的上下文；
42、若l与h之间没有增量变更，将队列中插入binlog_end记录，否则读取l与h之间的日志数据，并比较数据剔除分片结果中重复的数据并插入队列，最后一条记录为binlog_end。
43、优选的，针对s3中增量变更的判断，还包括：
44、若l与h之间有增量变更时，记录每个分片的l和h标记在日志数据中的下标，并将日志数据中下标位置进行确认；
45、根据日志数据中的下标位置进行消费区域的增量数据计本文档来自技高网...
【技术保护点】
1.一种基于快照的无锁全增量一体化数据同步方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S1中选择传输速度最快的传输信道，包括：
3.根据权利要求1所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S1中选择传输速度最快的传输信道，还包括：
4.根据权利要求3所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：利用所述通信评价参数筛选出用于进行数据传输的候选传输信道，并通过所述候选传输信道获取传输速度最快的传输信，包括：
5.根据权利要求2所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S2中数据表中的数据进行数据分片，包括：
6.根据权利要求5所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S2中的日志数据标记，包括：
7.根据权利要求6所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S3中增量变更的判断，包括：
8.根据权利要求7所述的一种基于
9.根据权利要求8所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S4中目标同步数据的数据校验，包括：
10.根据权利要求9所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对S4中将校验完成的数据进行完整性检测，包括：
...【技术特征摘要】
1.一种基于快照的无锁全增量一体化数据同步方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对s1中选择传输速度最快的传输信道，包括：
3.根据权利要求1所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对s1中选择传输速度最快的传输信道，还包括：
4.根据权利要求3所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：利用所述通信评价参数筛选出用于进行数据传输的候选传输信道，并通过所述候选传输信道获取传输速度最快的传输信，包括：
5.根据权利要求2所述的一种基于快照的无锁全增量一体化数据同步方法，其特征在于：针对s2中数据表中的数据进...
【专利技术属性】
技术研发人员：单田清，祁昌杨，王淞，伏硕，
申请(专利权)人：江苏大塔科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。