数据库同步方法、系统、生产端及消费端解析服务器技术方案

本发明专利技术提出了一种数据库同步方法、系统、生产端及消费端解析服务器，涉及大数据技术领域，该方法包括：生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。本发明专利技术可以基于生产消费模式实现高效、便利且有序的数据库同步。便利且有序的数据库同步。便利且有序的数据库同步。

【技术实现步骤摘要】
数据库同步方法、系统、生产端及消费端解析服务器


[0001]本专利技术涉及大数据
，尤指一种数据库同步方法、系统、生产端及消费端解析服务器。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]互联网发展至今，已经步入大数据时代，数据保存与转移的重要性已愈发凸显，各类业务系统的开展与数据处理息息相关，为适应市场需求，让数据同步变得稳定、简单且高效越来越重要。
[0004]目前流行的数据同步方法是使用数据库的发布和订阅功能，实现同一服务器下不同数据库的表数据同步，以及不同服务器下的不同数据库的表数据同步，但是该方法的使用前提是源数据表结构和目标数据表结构必须相同，导致数据库同步不方便且效率低。

技术实现思路

[0005]为解决现有技术存在的问题，本专利技术提出了一种数据库同步方法、系统、生产端及消费端解析服务器；该方法及系统基于生产消费模式实现高效、便利且有序的数据库同步。
[0006]在本专利技术实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库同步方法，其特征在于，包括：生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。2.根据权利要求1所述的方法，其特征在于，在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件，包括：在检测到生产端数据库产生待同步数据时，对所述待同步数据执行关系型数据库管理系统MySQL数据库中的二进制日志转储Binlog Dump操作，将待同步数据转化为二进制日志文件。3.根据权利要求1所述的方法，其特征在于，解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储，包括：执行MySQL数据库中的二进制日志解析Binlog Parser操作对所述待同步数据的二进制日志文件进行解析，得到完整的解析数据；将完整的解析数据传递给Couchbase数据库进行持久化存储。4.根据权利要求1所述的方法，其特征在于，还包括：记录所述待同步数据的二进制日志文件的解析进度。5.根据权利要求1所述的方法，其特征在于，根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库，还包括：当同步至消费端数据库的执行语句出现异常情况时，自动跳过异常执行语句，继续下一执行语句的操作。6.根据权利要求1所述的方法，其特征在于，所述生产端解析服务器与所述消费端解析服务器分开部署。7.根据权利要求1所述的方法，其特征在于，所述持久层还包括扩展接口，所述扩展接口包括用户访问业务接口、允许用户操作接口以及数据同步流量控制接口。8.一种数据库同步方法，其特征在于，该方法应用于生产端解析服务器，该方法包括：在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储。9.一种数据库同步方法，其特征在于，该方法应用于消费端解析服务器，该方法包括：分批次读取所述持久层存储的解析数据；将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。10.一种数据库同步系统，其特征在于，包括：生产端解析服务器，用于在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所...

【专利技术属性】
技术研发人员：刘志华，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：