一种数据库之间数据的准实时同步方法及装置制造方法及图纸

本发明专利技术公开了一种数据库之间数据的准实时同步方法及装置，建立源端数据库与目标端数据库的数据同步环境；建立目标端数据库与源端数据库的数据同步对应关系，并基于此对目标端数据库进行初始化；目标端Kudu数据库的应用层解析ogg同步给kafka日志消息记录获得数据的变化，然后将这些变化应用到Kudu数据库；所述源端数据库为异构数据库，所述目标端数据库为Kudu数据库。本发明专利技术有效解决目前传统的异构数据库数据同步的方法均不支持对Kudu数据库数据同步更新的问题，实用性强，将Oracle存储的结构化数据准实时同步到Kudu数据库以提供高效的快速的实时数据处理能力。

【技术实现步骤摘要】
一种数据库之间数据的准实时同步方法及装置
本专利技术属于数据库迁移的
，涉及一种数据库之间数据的准实时同步方法及装置，尤其是涉及一种将数据从传统的异构数据库准实时同步至Kudu数据库的方法及装置。
技术介绍
Kudu数据库是Cloudera开源的新型列式存储数据库，是ApacheHadoop生态圈的新成员之一(incubating)，对快速变化的数据提供了高效的快速的数据分析能力。目前，将Oracle存储的结构化数据准实时同步到Hadoop集群做实时计算是一种常见的数据处理手段，OracleGoldenGate软件是Oracle官方提供的一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG目前可以和HDFS，HBase，Storm，Flume，Kafka等平台进行实时的数据集成，可以实现Oracle数据实时加载到大数据平台进行分析。但是，目前Oracle数据库在数据库数据转移上存在一项技术上的难题，Oracle官方提供的OGG尚不支持Oracle数据库对kudu数据库同步，从Oracle数据库无法将数据准实时同步至Kudu数据库；目前传统的异构数据库数据同步的方法均不支持对Kudu数据库数据同步更新。然而，由于Kudu数据库具有高效快速的数据分析能力，亟需一种将数据从传统的异构数据库准实时同步至Kudu数据库的方法及装置。综上所述，针对现有技术在数据库迁移中如何将数据从传统的异构数据库准实时同步至Kudu数据库的问题，尚缺乏有效的解决方案。
技术实现思路
针对现有技术中存在的不足，解决现有技术在数据库迁移中如何将数据从传统的异构数据库准实时同步至Kudu数据库的问题，本专利技术提供了一种数据库之间数据的准实时同步方法及装置，尤其是一种实用性强的将数据从传统的异构数据库准实时同步至Kudu数据库的方法及装置。本专利技术的第一目的是提供一种数据库之间数据的准实时同步方法。为了实现上述目的，本专利技术采用如下一种技术方案：一种数据库之间数据的准实时同步方法，该方法包括：建立源端数据库与目标端数据库的数据同步环境；建立目标端数据库与源端数据库的数据同步对应关系，并基于此对目标端数据库进行初始化；将数据从源端数据库准实时同步至目标端数据库；所述源端数据库为异构数据库，所述目标端数据库为Kudu数据库。作为进一步的优选方案，所述建立源端数据库与目标端数据库的数据同步环境的具体步骤为：在源端数据库与目标端数据库安装相同的数据复制备份软件并配置；在目标端数据库安装发布订阅消息系统并配置。作为进一步的优选方案，所述异构数据库为Oracle数据库；所述源端的Oracle数据库安装数据复制备份软件，所述数据复制备份软件采用OGG软件；所述目标端的Kudu数据库安装与所述源端的Oracle数据库相同的数据复制备份软件，所述数据复制备份软件采用OGG软件；所述目标端的Kudu数据库安装发布订阅消息系统，所述发布订阅消息系统采用kafka软件。作为进一步的优选方案，在源端的Oracle数据库安装数据复制备份软件进行配置的具体步骤包括：配置OGG管理器mgr；配置extract进程进行捕获数据；配置pump进程将捕获的数据通过TCP/IP协议发送到目标端的Kudu数据库。作为进一步的优选方案，在目标端的Kudu数据库安装与所述源端的Oracle数据库相同的数据复制备份软件进行配置的具体步骤包括：配置ogg管理器mgr；配置replicate进程将源端的Oracle数据库传输过来的数据解析后发送至所述发布订阅消息系统kafka的消息队列中。作为进一步的优选方案，所述目标端的Kudu数据库安装发布订阅消息系统进行配置的具体步骤包括：创建与源端的Oracle数据库同步数据相应的topic；将partition的数目设置为1。作为进一步的优选方案，所述建立源端数据库与目标端数据库的数据同步环境还包括：在安装数据复制备份软件前，指定源端数据库和目标端数据库信息，包括源端数据库和目标端数据库的同步数据所在的的表、所涉及的所有字段和数据类型。作为进一步的优选方案，所述对应关系包括表名、字段和数据类型；将目标端数据库的表名、字段和数据类型与源端数据库保持一致。作为进一步的优选方案，所述将数据从源端数据库准实时同步至目标端数据库的具体步骤包括：目标端数据库的应用层解析发布订阅消息系统中的日志记录，得到解析结果；从解析结果中获取源端数据库中变化的信息，确定变化的数据；将变化的数据应用到目标端数据库中。作为进一步的优选方案，所述解析结果中获取源端数据库中变化的信息包括数据表的主键信息，数据操作类型，操作时间戳。本专利技术的第二目的是提供一种电子设备。为了实现上述目的，本专利技术采用如下一种技术方案：一种电子设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下处理：建立源端数据库与目标端数据库的数据同步环境；建立目标端数据库与源端数据库的数据同步对应关系，并基于此对目标端数据库进行初始化；将数据从源端数据库准实时同步至目标端数据库；所述源端数据库为异构数据库，所述目标端数据库为Kudu数据库。本专利技术的第三目的是提供一种计算机可读存储介质。为了实现上述目的，本专利技术采用如下一种技术方案：一种计算机可读存储介质，其中存储有多条计算机可执行指令，所述指令适于由终端设备设备的处理器加载并执行以下处理：建立源端数据库与目标端数据库的数据同步环境；建立目标端数据库与源端数据库的数据同步对应关系，并基于此对目标端数据库进行初始化；将数据从源端数据库准实时同步至目标端数据库；所述源端数据库为异构数据库，所述目标端数据库为Kudu数据库。这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。本专利技术的有益效果：1、本专利技术所述的一种数据库之间数据的准实时同步方法及装置，基于OGG和kafka的将数据从Oracle数据库准实时同步到Kudu数据库，有效解决目前传统的异构数据库数据同步的方法均不支持对Kudu数据库数据同步更新的问题，实用性强，将Oracle存储的结构化数据准实时同步到Kudu数据库以提供高效的快速的实时数据处理能力。2、本专利技术所述的一种数据库之间数据的准实时同步方法及装置，针对传统的异构数据库数据同步的方法目前均不支持对Kudu数据库数据同步更新，提供一种实用性强，基于OGG和kafka的将数据从Oracle数据库准实时同步到kudu数据库的方法，目标端Kudu数据库的应用层解析ogg同步给kafka日志消息记录获得数据的变化，然后将这些变化应用到Kudu数据库。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本专利技术中的方法流程图。具体实施方式：下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提本文档来自技高网...

【技术保护点】
一种数据库之间数据的准实时同步方法，其特征在于，该方法包括：建立源端数据库与目标端数据库的数据同步环境；建立目标端数据库与源端数据库的数据同步对应关系，并基于此对目标端数据库进行初始化；将数据从源端数据库准实时同步至目标端数据库；所述源端数据库为异构数据库，所述目标端数据库为Kudu数据库。

【技术特征摘要】
1.一种数据库之间数据的准实时同步方法，其特征在于，该方法包括：建立源端数据库与目标端数据库的数据同步环境；建立目标端数据库与源端数据库的数据同步对应关系，并基于此对目标端数据库进行初始化；将数据从源端数据库准实时同步至目标端数据库；所述源端数据库为异构数据库，所述目标端数据库为Kudu数据库。2.如权利要求1所述的方法，其特征在于，所述建立源端数据库与目标端数据库的数据同步环境的具体步骤为：在源端数据库与目标端数据库安装相同的数据复制备份软件并配置；在目标端数据库安装发布订阅消息系统并配置。3.如权利要求1所述的方法，其特征在于，所述异构数据库为Oracle数据库；所述源端的Oracle数据库安装数据复制备份软件，所述数据复制备份软件采用OGG软件；所述目标端的Kudu数据库安装与所述源端的Oracle数据库相同的数据复制备份软件，所述数据复制备份软件采用OGG软件；所述目标端的Kudu数据库安装发布订阅消息系统，所述发布订阅消息系统采用kafka软件。4.如权利要求3所述的方法，其特征在于，在源端的Oracle数据库安装数据复制备份软件进行配置的具体步骤包括：配置OGG管理器mgr；配置extract进程进行捕获数据；配置pump进程将捕获的数据通过TCP/IP协议发送到目标端的Kudu数据库。5.如权利要求3所述的方法，其特征在于，在目标端的Kudu数据库安装与所述源端的Oracle数据库相同的数据复制备份软件进行配置的具体步骤包括：配置ogg管理器mgr；配置repl...

【专利技术属性】
技术研发人员：赵连睿，王震，赵斌，王东宁，肖付寒，
申请(专利权)人：山东鲁能软件技术有限公司，
类型：发明
国别省市：山东,37