数据同步方法及装置制造方法及图纸

本发明专利技术提供了数据同步方法及装置，该方法包括以下步骤：对一个关系型数据库进行配置，以能够获取关系型数据库的操作日志；获取关系型数据库的操作日志，并对操作日志进行解析，获得增量数据，其中，增量数据为关系型数据库中增加、删除以及更新的数据；根据目标数据库的目标数据存储格式，将增量数据转换成符合目标数据存储格式的目标增量数据；将目标增量数据存储至目标数据库。本方案可以完整地实现数据同步。

【技术实现步骤摘要】
数据同步方法及装置
本专利技术涉及计算机
，特别涉及数据同步方法及装置。
技术介绍
随着大数据时代的到来，数据库由小型化向大型化发展，由集中式向分布式发展，海量数据的出现和数据结构的改变，给各行各业在管理和分析处理中带来了巨大的挑战，从而使得数据库的数据同步成为一个重要的研究方向。现有的数据同步方式一般是全量同步后，通过建立自增列或时间戳进行增量数据的同步，然后将增量数据同步至目标源中。通过上述描述可见，现有技术基于自增列或时间戳进行增量数据的同步，只能根据自增列识别增加的数据，根据时间戳识别更新的数据，无法识别数据库中已删除的数据，从而导致不能完整地实现数据同步。
技术实现思路
本专利技术实施例提供了数据同步方法及装置，可以完整地实现数据同步。第一方面，本专利技术提供了数据同步方法，包括：对一个关系型数据库进行配置，以能够获取所述关系型数据库的操作日志；获取所述关系型数据库的所述操作日志，并对所述操作日志进行解析，获得增量数据，其中，所述增量数据为所述关系型数据库中增加、删除以及更新的数据；根据所述目标数据库的目标数据存储格式，将所述增量数据转换成符合所述目标数据存储格式的目标增量数据；将所述目标增量数据存储至所述目标数据库。优选地，所述对一个关系型数据库进行配置，包括：配置用于开启所述操作日志的开启参数，并设置所述操作日志的存储路径和所述操作日志的前缀；配置所述操作日志的标识符号，其中，所述标识符号用于在集群环境下对所述操作日志进行区分；配置所述操作日志的模式为Row模式、Statement模式和Mixed模式中的任意一个，其中，所述Row模式用于记录所述操作日志中每一行数据被修改的情况；所述Statement模式用于表示每一条会修改数据的sql都会记录到master的操作日志中；所述Mixed模式用于表示所述关系型数据库会根据执行的每一条具体的sql语句来区分对待记录的所述操作日志的形式。优选地，在所述配置所述操作日志的模式为Row模式、Statement模式和Mixed模式中的任意一个之后，进一步包括：配置所述操作日志的文件大小和保存时间的参数。优选地，所述获取所述关系型数据库的所述操作日志，并对所述操作日志进行解析，获得增量数据，包括：配置需要解析的所述关系型数据库的主机信息、驱动类、驱动路径、用户名以及密码，以能够解析所述关系型数据库中的所述操作日志。第二方面，本专利技术提供了数据同步装置，包括：配置模块，用于对一个关系型数据库进行配置，以能够获取所述关系型数据库的操作日志；处理模块，用于获取所述配置模块配置好的所述关系型数据库的所述操作日志，并对所述操作日志进行解析，获得增量数据，其中，所述增量数据为所述关系型数据库中增加、删除以及更新的数据；转换模块，用于根据所述目标数据库的目标数据存储格式，将所述处理模块处理得到的所述增量数据转换成符合所述目标数据存储格式的目标增量数据；存储模块，用于将所述转换模块转换得到的所述目标增量数据存储至所述目标数据库。优选地，所述配置模块，包括：第一配置单元，用于配置开启所述操作日志的开启参数，并设置所述操作日志的存储路径和所述操作日志的前缀；第二配置单元，用于配置所述操作日志的标识符号，其中，所述标识符号用于在集群环境下对所述操作日志进行区分；第三配置单元，用于配置所述操作日志的模式为Row模式、Statement模式和Mixed模式中的任意一个，其中，所述Row模式用于记录所述操作日志中每一行数据被修改的情况；所述Statement模式用于表示每一条会修改数据的sql都会记录到master的操作日志中；所述Mixed模式用于表示所述关系型数据库会根据执行的每一条具体的sql语句来区分对待记录的所述操作日志的形式。优选地，在所述第三配置单元之后，进一步包括：第四配置单元，用于配置所述操作日志的文件大小和保存时间的参数。优选地，所述处理模块，还用于配置需要解析的所述关系型数据库的主机信息、驱动类、驱动路径、用户名以及密码，以能够解析所述关系型数据库中的所述操作日志。第三方面，本专利技术提供了数据同步装置，包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行第一方面任一所述的方法。第四方面，本专利技术提供了计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面任一所述的方法。本专利技术实施例提供了数据同步方法及装置，操作日志是二进制格式的日志文件，可以用来记录关系型数据库内部对数据库的改动，包括增加、删除以及更新的数据，基于关系型数据库本身开源、免费以及易用的特性，本方案通过获取关系型数据库中的操作日志，进而实现对关系型数据库中增加、删除以及更新的数据同步，即实现增量数据的同步。由于关系型数据库本身并不适合于大数据时代下的业务需求，故需要将数据同步到大数据存储中，即目标数据库中。获取到的关系型数据库中的操作日志，需要对其进行解析，以便获取到增量数据，并将增量数据转换成符合目标数据存储格式的目标增量数据，以实现格式的匹配，从而将增量数据同步至目标数据库中。由于自增列或者时间戳进行增量数据的同步时，无法识别数据库中删除的数据，本方案可以通过关系型数据库中的操作日志实现增量数据同步，从而可以完整地实现数据同步。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种数据同步方法的流程图；图2是本专利技术一实施例提供的另一种数据同步方法的流程图；图3是本专利技术一实施例提供的一种数据同步装置的示意图；图4是本专利技术一实施例提供的另一种数据同步装置的示意图；图5是本专利技术一实施例提供的又一种数据同步装置的示意图；图6是本专利技术一实施例提供的读取操作日志的示意图；图7是本专利技术一实施例提供的解析操作日志的示意图；图8是本专利技术一实施例提供的增量数据写入hbase中的配置示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了数据同步方法，该方法可以包括以本文档来自技高网...

【技术保护点】
1.数据同步方法，其特征在于，包括：/n对一个关系型数据库进行配置，以能够获取所述关系型数据库的操作日志；/n获取所述关系型数据库的所述操作日志，并对所述操作日志进行解析，获得增量数据，其中，所述增量数据为所述关系型数据库中增加、删除以及更新的数据；/n根据所述目标数据库的目标数据存储格式，将所述增量数据转换成符合所述目标数据存储格式的目标增量数据；/n将所述目标增量数据存储至所述目标数据库。/n

【技术特征摘要】
1.数据同步方法，其特征在于，包括：
对一个关系型数据库进行配置，以能够获取所述关系型数据库的操作日志；
获取所述关系型数据库的所述操作日志，并对所述操作日志进行解析，获得增量数据，其中，所述增量数据为所述关系型数据库中增加、删除以及更新的数据；
根据所述目标数据库的目标数据存储格式，将所述增量数据转换成符合所述目标数据存储格式的目标增量数据；
将所述目标增量数据存储至所述目标数据库。


2.根据权利要求1所述的方法，其特征在于，
所述对一个关系型数据库进行配置，包括：
配置用于开启所述操作日志的开启参数，并设置所述操作日志的存储路径和所述操作日志的前缀；
配置所述操作日志的标识符号，其中，所述标识符号用于在集群环境下对所述操作日志进行区分；
配置所述操作日志的模式为Row模式、Statement模式和Mixed模式中的任意一个，其中，所述Row模式用于记录所述操作日志中每一行数据被修改的情况；所述Statement模式用于表示每一条会修改数据的sql都会记录到master的操作日志中；所述Mixed模式用于表示所述关系型数据库会根据执行的每一条具体的sql语句来区分对待记录的所述操作日志的形式。


3.根据权利要求2所述的方法，其特征在于，
在所述配置所述操作日志的模式为Row模式、Statement模式和Mixed模式中的任意一个之后，进一步包括：
配置所述操作日志的文件大小和保存时间的参数。


4.根据权利要求1所述的方法，其特征在于，
所述获取所述关系型数据库的所述操作日志，并对所述操作日志进行解析，获得增量数据，包括：
配置需要解析的所述关系型数据库的主机信息、驱动类、驱动路径、用户名以及密码，以能够解析所述关系型数据库中的所述操作日志。


5.数据同步装置，其特征在于，包括：
配置模块，用于对一个关系型数据库进行配置，以能够获取所述关系型数据库的操作日志；
处理模块，用于获取所述配置模块配置好的所述关系型数据库的所述操作日志，...

【专利技术属性】
技术研发人员：杨贵柽，胡清，王建华，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东;37