一种异构数据同步处理方法及系统技术方案

本发明专利技术实施例提供一种异构数据同步处理方法，包括以下步骤：步骤一：将第一服务器的源端Oracle数据库主表对应的数据变化信息以及从表对应的数据变化信息存放至队列文件；步骤二：利用传输进程将所述第一服务器的所述队列文件通过TCP/IP传送至第二服务器对应的目标系统；步骤三：利用复制进程从所述第二服务器对应的目标系统的所述队列文件中读取数据变化信息；步骤四：通过复制进程配置文件指定的程序处理所述数据变化信息，并同步保存至所述第二服务器的目标数据库。本发明专利技术实施例源数据库与目标数据库的数据同步且保持亚秒级的数据延迟，同时提高查询效率。

【技术实现步骤摘要】
一种异构数据同步处理方法及系统
本专利技术涉及大数据
,更具体地说，涉及到一种异构数据同步处理方法及系统。
技术介绍
对于不同数据库类型的业务系统，为了对接业务很多时候需要将源端数据做数据同步处理，大数据场景下，关系型数据库(oracle)I/O较高，关系型数据库也会将整行数据从存储设备中读入内存。把数据同步到另一个Nosql(mongodb)平台维护，进行低延迟查询、取数以及一些其他需求，Nosql数据库是横向扩展的，它的存储天然就是分布式的。通常查询不仅仅是简单查一个表的数据，而且还会进行关联查询，关系型数据库如果几张上亿的大表关联查询会非常影响数据库性能，查询效率较低，当同步的数据库是非关系型数据库，不能进行关联查询。本
技术实现思路
为了克服现有技术的不足，本专利技术提供一种异构数据同步处理方法用来解决同步的源数据库与目标数据库数据不能进行关联查询且查询效率低下的问题。本专利技术解决其技术问题所采用的技术方案是：一种异构数据同步处理方法，包括以下步骤：步骤一：将第一服务器的源端Oracle数据库本文档来自技高网...

【技术保护点】
1.一种异构数据同步处理方法，其特征在于，包括以下步骤：/n步骤一：将第一服务器的源端Oracle数据库主表对应的数据变化信息以及从表对应的数据变化信息存放至队列文件；/n步骤二：利用传输进程将所述第一服务器的所述队列文件通过TCP/IP传送至第二服务器对应的目标系统；/n步骤三：利用复制进程从所述第二服务器对应的目标系统的所述队列文件中读取数据变化信息；/n步骤四：通过复制进程配置文件指定的程序处理所述数据变化信息，并同步保存至所述第二服务器的目标数据库。/n

【技术特征摘要】
1.一种异构数据同步处理方法，其特征在于，包括以下步骤：
步骤一：将第一服务器的源端Oracle数据库主表对应的数据变化信息以及从表对应的数据变化信息存放至队列文件；
步骤二：利用传输进程将所述第一服务器的所述队列文件通过TCP/IP传送至第二服务器对应的目标系统；
步骤三：利用复制进程从所述第二服务器对应的目标系统的所述队列文件中读取数据变化信息；
步骤四：通过复制进程配置文件指定的程序处理所述数据变化信息，并同步保存至所述第二服务器的目标数据库。


2.根据权利要求1所述的一种异构数据同步处理方法，其特征在于，将第一服务器的源端Oracle数据库主表对应的数据变化信息以及从表对应数据变化信息存放至队列文件之前，所述步骤还包括：
从所述第一服务器的源端Oracle数据库获取主表以及获取从表。


3.根据权利要求2所述的一种异构数据同步处理方法，其特征在于，从所述第一服务器的源端Oracle数据库获取主表以及获取从表之后，所述步骤还包括：
从第一服务器的源端Oracle数据库通过ogg工具读取OnlineRedoLog或者ArchiveLog；
对所述读取的OnlineRedoLog或者ArchiveLog进行解析，得到解析后的数据。


4.根据权利要求3所述的一种异构数据同步处理方法，其特征在于，从第一服务器的源端Oracle数据库通过ogg工具读取OnlineRedoLog或者ArchiveLog，所述步骤包括：
从第一服务器的源端Oracle数据库通过ogg工具利用抽取线程读取OnlineRedoLog或者ArchiveLog。


5.根据权利要求3或者4所述的一种异构数据同步处理方法，其特征在于，对所述读取的OnlineRedoLog或者ArchiveLog进行解析，得到解析后的数据之后，所述步骤还包括：
从所...

【专利技术属性】
技术研发人员：李雨峰，刘跃红，夏菊平，管正爽，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44