【技术实现步骤摘要】
本说明书涉及数据处理,特别涉及数据同步方法。本说明书同时涉及数据同步装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品。
技术介绍
1、基于预写日志数据为载体实现数据库主从节点之间的数据同步,这个同步机制我们称之为物理复制机制。现有的物理复制机制中,数据同步处理所涉及的数据读取操作、数据解析操作以及数据应用操作,是基于同一线程以串行方式进行处理的。在串行方式的处理过程中,在同一时刻只能进行数据读取操作、数据解析操作以及数据应用操作中的其中一种操作,其他两种操作只能等待。因此,现有的串行化的物理复制机制中无法同时执行数据读取操作、数据解析操作以及数据应用操作。
2、基于此,如何提供一种性能优良的物理复制机制,以提升数据同步的效率,成为了亟待解决的技术问题。
技术实现思路
1、有鉴于此,本说明书实施例提供了一种数据同步方法。本说明书一个或者多个实施例同时涉及一种数据同步装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。<
...【技术保护点】
1.一种数据同步方法,包括:
2.如权利要求1所述的方法,所述基于多个读取线程对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:
3.如权利要求2所述的方法,所述基于所述数据总量,确定针对所述多个读取线程所配置的线程数量,包括:
4.如权利要求2所述的方法,所述基于所述线程数量的读取线程,对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:
5.如权利要求1所述的方法,所述基于多个解析线程对所述读取后的各个预写日志数据进行解析操作,得到解析
...【技术特征摘要】
1.一种数据同步方法,包括:
2.如权利要求1所述的方法,所述基于多个读取线程对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:
3.如权利要求2所述的方法,所述基于所述数据总量,确定针对所述多个读取线程所配置的线程数量,包括:
4.如权利要求2所述的方法,所述基于所述线程数量的读取线程,对所述预写日志数据集合中的各个预写日志数据进行读取操作,得到读取后的各个预写日志数据,包括:
5.如权利要求1所述的方法,所述基于多个解析线程对所述读取后的各个预写日志数据进行解析操作,得到解析后的各个预写日志数据,包括:
6.如权利要求5所述的方法,所述读取后的各个预写日志数据缓存在呈第一队列分布的若干个缓存区内,在所述第一队列中,若第一缓存区位于第二缓存区前,则所述第一缓存区包括的预写日志数据的生成时间比所述第二缓存区包括的预写日志数据的生成时间早;
7.如权利要求6所述的方法,所述基于预设规则,将所述读取后的各个预写日志数据分配至所述各个所述解析线程,还包括:...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。