数据同步方法、装置、设备、介质和产品制造方法及图纸

技术编号:43844090 阅读:27 留言:0更新日期:2024-12-31 18:38
本说明书实施例提供数据同步方法及装置。其中所述数据同步方法包括:获取针对数据库主节点进行数据处理所记录的预写日志数据集合;基于多个并行读取线程对预写日志数据集合中的各个预写日志数据进行读取操作;基于多个并行解析线程对各个预写日志数据进行解析操作;以及根据各个预写日志数据的生成时间,基于多个并行应用线程将各个预写日志数据应用至数据库从节点,得到数据同步后的数据库从节点。其中,在针对不同预写日志数据进行读取、解析以及应用操作的情况下,读取线程、解析线程以及应用线程之间并行运行。该方案,基于针对读取操作、解析操作以及应用操作之间的并行化、流水线化处理,可以提升数据同步处理的效率。

【技术实现步骤摘要】

本说明书涉及数据处理,特别涉及数据同步方法。本说明书同时涉及数据同步装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品。


技术介绍

1、基于预写日志数据为载体实现数据库主从节点之间的数据同步,这个同步机制我们称之为物理复制机制。现有的物理复制机制中,数据同步处理所涉及的数据读取操作、数据解析操作以及数据应用操作,是基于同一线程以串行方式进行处理的。在串行方式的处理过程中,在同一时刻只能进行数据读取操作、数据解析操作以及数据应用操作中的其中一种操作,其他两种操作只能等待。因此,现有的串行化的物理复制机制中无法同时执行数据读取操作、数据解析操作以及数据应用操作。

2、基于此,如何提供一种性能优良的物理复制机制,以提升数据同步的效率,成为了亟待解决的技术问题。


技术实现思路

1、有鉴于此,本说明书实施例提供了一种数据同步方法。本说明书一个或者多个实施例同时涉及一种数据同步装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。</p>

2、根据本文档来自技高网...

【技术保护点】

1.一种数据同步方法,包括:

2.如权利要求1所述的方法,所述基于多个读取线程对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:

3.如权利要求2所述的方法,所述基于所述数据总量,确定针对所述多个读取线程所配置的线程数量,包括:

4.如权利要求2所述的方法,所述基于所述线程数量的读取线程,对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:

5.如权利要求1所述的方法,所述基于多个解析线程对所述读取后的各个预写日志数据进行解析操作,得到解析后的各个预写日志数据...

【技术特征摘要】

1.一种数据同步方法,包括:

2.如权利要求1所述的方法,所述基于多个读取线程对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:

3.如权利要求2所述的方法,所述基于所述数据总量,确定针对所述多个读取线程所配置的线程数量,包括:

4.如权利要求2所述的方法,所述基于所述线程数量的读取线程,对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:

5.如权利要求1所述的方法,所述基于多个解析线程对所述读取后的各个预写日志数据进行解析操作,得到解析后的各个预写日志数据,包括:

6.如权利要求5所述的方法,所述读取后的各个预写日志数据缓存在呈第一队列分布的若干个缓存区内,在所述第一队列中,若第一缓存区位于第二缓存区前,则所述第一缓存区包括的预写日志数据的生成时间比所述第二缓存区包括的预写日志数据的生成时间早;

7.如权利要求6所述的方法,所述基于预设规则,将所述读取后的各个预写日志数据分配至所述各个所述解析线程,还包括:...

【专利技术属性】
技术研发人员:庄泽超
申请(专利权)人:阿里云计算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1