【技术实现步骤摘要】
一种数据同步方法、装置、电子设备及存储介质
本申请涉及网络
，具体涉及一种数据同步方法、装置、电子设备及存储介质。
技术介绍
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，数据库应用普遍建立于计算机网络之上，在大型互联网应用的场景中，并发的读写数据量非常庞大，往往高达上亿甚至是数十亿，大数据时代下的数据存储及管理方式将直接影响着运营过程中的服务效率。为了优化大数据时代下的数据存储及管理方式，分布式数据库系统应运而生，然而在对分布式数据库中的数据进行同步的过程中，相关技术中所采用的全量同步的方式不仅同步效率低下，而且造成了对网络资源的浪费、加重系统的运行负担，尤其对于规模较大、分表数量较多的大型分布式数据库而言，同步流程复杂、耗时较长等问题导致数据库可靠性降低且维护难度升高。
技术实现思路
有鉴于此，本申请提供一种数据同步方法及装置，以解决相关技术中数据同步效率低下、耗时较长等技术问题。为实现上述目的，本申请提供技术方案如下：根据本申请的第一方面，提出...
【技术保护点】
1.一种数据同步方法，其特征在于，应用于分布式数据库，所述分布式数据库包含多个存储节点，以用于对所述分布式数据库中的数据进行分库分表存储；所述方法包括：/n分别获取各个存储节点上的增量数据和所述增量数据对应的操作时间；/n基于所述操作时间对所述增量数据进行合并，以使得合并后的数据表中各个增量数据之间的排列顺序对应于操作时间的先后次序；/n将所述合并后的数据表同步至目标数据库中。/n
【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于分布式数据库，所述分布式数据库包含多个存储节点，以用于对所述分布式数据库中的数据进行分库分表存储；所述方法包括：
分别获取各个存储节点上的增量数据和所述增量数据对应的操作时间；
基于所述操作时间对所述增量数据进行合并，以使得合并后的数据表中各个增量数据之间的排列顺序对应于操作时间的先后次序；
将所述合并后的数据表同步至目标数据库中。
2.根据权利要求1所述方法，其特征在于，所述增量数据和所述增量数据对应的操作时间是通过对所述存储节点上的二进制日志文件进行增量解析而确定的。
3.根据权利要求1所述方法，其特征在于，所述分别获取各个存储节点上的增量数据和所述增量数据对应的操作时间，包括：从各个存储节点对应的缓存数据队列中获取对应于同一数据表标识的增量数据和所述增量数据对应的操作时间；
所述基于所述操作时间对所述增量数据进行合并，包括：对归属于同一数据表的增量数据按照操作时间的先后次序进行合并。
4.根据权利要求1所述方法，其特征在于，所述存储节点对应默认缓存数据队列和至少一个备用缓存数据队列；还包括：
检测所述存储节点的默认缓存数据队列的拥塞程度；
在所述默认缓存数据队列处于拥塞状态下，由所述存储节点将与自身对应的增量数据和所述增量数据对应的操作时间存储至备用缓存数据队列中；
在所述默认缓存数据队列处于空闲状态下，由所述存储节点将与自身对应的增量数据和所述增量数据对应的操作时间存储至所述默认缓存数据队列中。
5.根据权利要求1所述方法，其特征在于，所述分别获取各个存储节点上的增量数据和所述增量数据对应的操作时间，包括：
确定各个存储节点中记录的增量数据的位置标识，所述位置标识用于表示最近一次完成增量解析处的位置信息；
将所述位置标识作为读取增量数据的起始位置，以获取所述位置标识之后的增量数据和所述增量数据对应的操作时间。
6.根据权利要求1所述方法，其特征在于，还包括：
周期性地触发向所述目标数据库同步各个存储节点上对应于同一个数据表的增量数据。
7.根据权利要求1所述方法，其特征在于，所述各个存储节点上的增量数据对应于特定的一个或多个数据表标识信息。
...
【专利技术属性】
技术研发人员：褚占峰，江峰，丁晓波，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。