数据同步方法、装置、服务器及存储介质制造方法及图纸

技术编号:30767647 阅读:30 留言:0更新日期:2021-11-10 12:30
本申请适用于大数据技术领域,提供了一种数据同步方法、装置、服务器及存储介质,该方法包括:响应于检测到数据定义语言事件,在主数据库上执行数据定义语言事件所指示的操作,以及生成用于记录数据定义语言事件的操作的第一日志,将第一日志缓存至预先建立的第一缓存中;若预先建立的第二缓存中缓存有用于记录数据操纵语言事件的操作的第二日志,则将第一缓存中的第一日志和第二缓存中的第二日志,以预设的分隔标识区分写入日志文件中;根据分隔标识,将日志文件中的第一日志和第二日志分发至从数据库中的对应工作线程中处理,以便在从数据库上并行执行数据定义语言事件和数据操纵语言事件。此外,本申请还涉及区块链技术。本申请还涉及区块链技术。本申请还涉及区块链技术。

【技术实现步骤摘要】
数据同步方法、装置、服务器及存储介质


[0001]本申请涉及大数据
,尤其涉及一种数据同步方法、装置、服务器及存储介质。

技术介绍

[0002]MySQL是一种关系型数据库管理系统。MySQL通常具有主从复制功能,即,主数据库中的数据定义语言(Data Definition Language,DDL)事件和数据操纵语言(Data Manipulation Language,DML)事件可以通过二进制日志传输到从数据库上,然后将二进制日志记载的事件中的操作在从数据库中执行(重做),实现将主数据库中的数据同步至从数据库中。
[0003]相关技术中,在DDL事件在主数据库上提交之后,从数据库上能明显地观测到时延长度的上升,一段时间之后,时延长度才会回落到原始的稳定状态。因此,相关技术中,需要降低对DDL事件处理时的时延长度,以提高将主数据库中的数据同步至从数据库的数据同步效率。

技术实现思路

[0004]有鉴于此,本申请实施例提供了一种数据同步方法、装置、服务器及存储介质,以解决相关技术中对DDL事件处理时的时延长度较长本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法,其特征在于,所述方法包括:响应于检测到数据定义语言事件,在主数据库上执行所述数据定义语言事件所指示的操作,以及生成用于记录所述数据定义语言事件的操作的第一日志,将所述第一日志缓存至预先建立的第一缓存中;若预先建立的第二缓存中缓存有用于记录数据操纵语言事件的操作的第二日志,则将所述第一缓存中的第一日志和所述第二缓存中的第二日志,以预设的分隔标识区分写入日志文件中;根据所述分隔标识,将所述日志文件中的第一日志和第二日志分发至从数据库中的对应工作线程中处理,以便在从数据库上并行执行所述数据定义语言事件和所述数据操纵语言事件。2.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:向操作系统请求分配两个内存空间,以及将所分配的两个内存空间建立为所述第一缓存和所述第二缓存,其中,所述第一缓存用于存储记录数据定义语言事件的操作的第一日志,所述第二缓存用于存储记录数据操纵语言事件的操作的第二日志。3.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:响应于检测到所述数据操纵语言事件,在所述主数据库上执行所述数据操纵语言事件所指示的操作,以及生成用于记录所述数据操纵语言事件的操作的所述第二日志,将所述第二日志缓存至预先建立的所述第二缓存中。4.根据权利要求1所述的数据同步方法,其特征在于,所述根据所述分隔标识,将所述日志文件中的第一日志和第二日志分发至从数据库中的对应工作线程中处理,包括:将所述日志文件传递至所述从数据库的协作线程,使得所述协作线程在检测到所述日志文件中包括所述分隔标识时,将所述分隔标识两侧的第一日志和第二日志分配至处于空闲状态的对应工作线程中处理。5.根据权利要求4所述的数据同步方法,其特征在于,若所述日志文件中的第二日志有多个,则所述将所述分隔标识两侧的第一日志和第二日志分配至处于空闲状态的对应工作线程中处理,包括:将所述分隔标识一侧的第一日志分配至处于空闲状态的第一工作线程中处...

【专利技术属性】
技术研发人员:尹嘉峻
申请(专利权)人:平安普惠企业管理有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1