一种基于国产环境下的异构数据库同步系统及同步方法技术方案

本发明专利技术提供了一种基于国产环境下的异构数据库同步系统，包括：初始化模块、端口监听模块、任务管理模块、采集和抽取模块、文件写入模块等模块，通过读写个性化的设置，包括读写方式、频率、速率等的设置，可批量选择数据读取对象，系统自动匹配异构数据源的表结构，通过任务管理模块、采集和抽取模块选择生产端需要同步的表，完成传输配置，生产端的表将通过文件写入模块和通道传输模块同步映射到目标端，完成目标端的配置。本发明专利技术支持国内外主流的数据库，同时，满足用户内外网隔离下的数据交换，实现实时捕获数据库日志，根据用户配置的过滤映射等功能，将非国产的数据库sql语句转换为最终生成目标端需要的sql语句。

A synchronization system and method of heterogeneous database based on domestic environment

【技术实现步骤摘要】
一种基于国产环境下的异构数据库同步系统及同步方法
本专利技术涉及数据库
，具体为一种基于国产环境下的异构数据库同步系统及同步方法。
技术介绍
当前互联网发展一日千里，使用者数量越来越多，大型网络应用压力越来越大，单机的处理能力有限，总会有一个最高值，分布式的环境在所难免。由于系统是不断扩容的，建设于不同的时期，很可能会出现异构的数据库，异构的数据库之间不可能不数据共享，否则将会出现“信息孤岛”。为此，如何灵活、有效、经济地处理这些异构数据库信息共享，数据同步的问题，成为一个颇受关注的研究方向。现有技术中，异构数据库同步的传统方式为基于数据库自身的同构复制技术实现的，各数据库开发商在各自的数据库同构复制的基础上提出了异构数据库的复制方案，例如关系型数据库管理系统SQLserver提出的出版者及预订者同步方案，关系数据库管理系统Oracle中采用多主复制和物化视图的方案实现数据同步功能，但尽管各厂商研发出的异构数据库辅助工具完善了异构数据库同步复制的功能，但复制依然方案依赖于数据库管理系统的核心技术。然而现有的技术存在本文档来自技高网...

【技术保护点】
1.一种基于国产环境下的异构数据库同步系统，其特征在于：包括初始化模块，提供软件启动参数，包含同步数据目录、发送接收文件数据量大小、数据文件限制大小等；端口监听模块，提供进程的模块管理，包含任务启动、暂停、停止等；任务管理模块，指定数据库类型及版本的捕获，包含全量、增量捕获，数据库指定表、表名、字段的捕获及过滤等；采集和抽取模块，对原始数据及日志进行采集抽取；文件写入模块，将采集到的数据写入传输通道目录；通道传输模块，完成数据在安全通道中的传输过程；数据接收模块，接收安全通道传输的数据；数据校验模块，对数据的一致性进行校验；数据导入模块，最终数据导入目标数据库。/n

【技术特征摘要】
1.一种基于国产环境下的异构数据库同步系统，其特征在于：包括初始化模块，提供软件启动参数，包含同步数据目录、发送接收文件数据量大小、数据文件限制大小等；端口监听模块，提供进程的模块管理，包含任务启动、暂停、停止等；任务管理模块，指定数据库类型及版本的捕获，包含全量、增量捕获，数据库指定表、表名、字段的捕获及过滤等；采集和抽取模块，对原始数据及日志进行采集抽取；文件写入模块，将采集到的数据写入传输通道目录；通道传输模块，完成数据在安全通道中的传输过程；数据接收模块，接收安全通道传输的数据；数据校验模块，对数据的一致性进行校验；数据导入模块，最终数据导入目标数据库。


2.根据权利要求1所述的一种基于国产环境下的异构数据库同步系统，其特征在于：所述任务管理模块支持所有数据库字段类型，以及DML、DDL操作的捕获。


3.根据权利要求1所述...

【专利技术属性】
技术研发人员：李庆银，
申请(专利权)人：上海浪擎信息科技有限公司，
类型：发明
国别省市：上海;31