数据库同步方法、系统、生产端及消费端解析服务器技术方案

本发明专利技术提出了一种数据库同步方法、系统、生产端及消费端解析服务器，涉及大数据技术领域，该方法包括：生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。本发明专利技术可以基于生产消费模式实现高效、便利且有序的数据库同步。便利且有序的数据库同步。便利且有序的数据库同步。

【技术实现步骤摘要】
数据库同步方法、系统、生产端及消费端解析服务器


[0001]本专利技术涉及大数据
，尤指一种数据库同步方法、系统、生产端及消费端解析服务器。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]互联网发展至今，已经步入大数据时代，数据保存与转移的重要性已愈发凸显，各类业务系统的开展与数据处理息息相关，为适应市场需求，让数据同步变得稳定、简单且高效越来越重要。
[0004]目前流行的数据同步方法是使用数据库的发布和订阅功能，实现同一服务器下不同数据库的表数据同步，以及不同服务器下的不同数据库的表数据同步，但是该方法的使用前提是源数据表结构和目标数据表结构必须相同，导致数据库同步不方便且效率低。

技术实现思路

[0005]为解决现有技术存在的问题，本专利技术提出了一种数据库同步方法、系统、生产端及消费端解析服务器；该方法及系统基于生产消费模式实现高效、便利且有序的数据库同步。
[0006]在本专利技术实施例的第一方面，提出了一种数据库同步方法，包括：
[0007]生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；
[0008]消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。
[0009]在本专利技术实施例的第二方面，提出了一种数据库同步方法，该方法应用于生产端解析服务器，包括：
[0010]在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；
[0011]解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储。
[0012]在本专利技术实施例的第三方面，提出了一种数据库同步方法，该方法应用于消费端解析服务器，包括：
[0013]分批次读取所述持久层存储的解析数据；
[0014]将每一批次读取的解析数据赋予唯一顺序标识；
[0015]根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。
[0016]在本专利技术实施例的第四方面，提出了一种数据库同步系统，包括：
[0017]生产端解析服务器，用于在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；
[0018]消费端解析服务器，用于分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。
[0019]在本专利技术实施例的第五方面，提出了一种数据库同步生产端解析服务器，包括：
[0020]转储单元，用于在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；
[0021]解析单元，用于解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储。
[0022]在本专利技术实施例的第六方面，提出了一种数据库同步消费端解析服务器，包括：
[0023]读取单元，用于分批次读取所述持久层存储的解析数据；
[0024]赋予单元，用于将每一批次读取的解析数据赋予唯一顺序标识；
[0025]同步单元，用于根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。
[0026]在本专利技术实施例的第七方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现数据库同步方法。
[0027]在本专利技术实施例的第八方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现数据库同步方法。
[0028]在本专利技术实施例的第九方面，提出了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现数据库同步方法。
[0029]本专利技术提出的数据库同步方案可以稳定且高效地进行数据同步，并能解决使用数据库的发布和订阅功能同步数据方法的缺陷，本专利技术将待同步的数据采用二进制日志转储的方式进行处理，并对二进制日志文件进行解析，将解析数据存储至持久层，在将数据同步到消费端时，采用流式消费的方式分批次读取持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识，根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库，该方案可以基于生产消费模式实现高效、便利且有序的数据库同步。
附图说明
[0030]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0031]图1是本专利技术一实施例的应用于系统数据库同步方法的流程示意图。
[0032]图2是本专利技术一实施例的数据库同步系统架构示意图。
[0033]图3是本专利技术一实施例的数据库同步方法的整体流程示意图。
[0034]图4是本专利技术一实施例的持久层扩展接口组成的示意图。
[0035]图5是本专利技术一实施例的应用于生产端解析服务器的数据库同步方法的流程示意
图。
[0036]图6是本专利技术一实施例的应用于消费端解析服务器的数据库同步方法的流程示意图。
[0037]图7是本专利技术一实施例的数据库同步系统架构示意图。
[0038]图8是本专利技术一实施例的数据库同步生产端解析服务器的架构示意图。
[0039]图9是本专利技术一实施例的数据库同步消费端解析服务器的架构示意图。
[0040]图10是本专利技术一实施例的计算机设备结构示意图。
具体实施方式
[0041]下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术，而并非以任何方式限制本专利技术的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0042]本领域技术人员知道，本专利技术的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0043]根据本专利技术的实施方式，提出了一种数据库同步方法及系统，涉及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库同步方法，其特征在于，包括：生产端解析服务器在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储；消费端解析服务器分批次读取所述持久层存储的解析数据，将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。2.根据权利要求1所述的方法，其特征在于，在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件，包括：在检测到生产端数据库产生待同步数据时，对所述待同步数据执行关系型数据库管理系统MySQL数据库中的二进制日志转储Binlog Dump操作，将待同步数据转化为二进制日志文件。3.根据权利要求1所述的方法，其特征在于，解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储，包括：执行MySQL数据库中的二进制日志解析Binlog Parser操作对所述待同步数据的二进制日志文件进行解析，得到完整的解析数据；将完整的解析数据传递给Couchbase数据库进行持久化存储。4.根据权利要求1所述的方法，其特征在于，还包括：记录所述待同步数据的二进制日志文件的解析进度。5.根据权利要求1所述的方法，其特征在于，根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库，还包括：当同步至消费端数据库的执行语句出现异常情况时，自动跳过异常执行语句，继续下一执行语句的操作。6.根据权利要求1所述的方法，其特征在于，所述生产端解析服务器与所述消费端解析服务器分开部署。7.根据权利要求1所述的方法，其特征在于，所述持久层还包括扩展接口，所述扩展接口包括用户访问业务接口、允许用户操作接口以及数据同步流量控制接口。8.一种数据库同步方法，其特征在于，该方法应用于生产端解析服务器，该方法包括：在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所述待同步数据的二进制日志文件，获得完整的解析数据，将所述解析数据传递给持久层存储。9.一种数据库同步方法，其特征在于，该方法应用于消费端解析服务器，该方法包括：分批次读取所述持久层存储的解析数据；将每一批次读取的解析数据赋予唯一顺序标识；根据所述唯一顺序标识将每一批次读取的解析数据同步至消费端数据库。10.一种数据库同步系统，其特征在于，包括：生产端解析服务器，用于在检测到生产端数据库产生待同步数据时，将所述待同步数据进行二进制日志转储，得到待同步数据的二进制日志文件；解析所...

【专利技术属性】
技术研发人员：刘志华，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：