一种基于配置参数实现跨数据库类型同步数据的方法技术

本发明专利技术涉数据库技术领域，尤其是一种基于配置参数实现跨数据库类型同步数据的方法。本发明专利技术方法如下：1、配置参数，2、读取数据库数据写入内存，3、读取内存数据同步数据库。本发明专利技术解决了数据同步依赖于具体数据库类型和依赖于数据库表结构的问题；可以用于不同数据类型的数据库数据同步。

【技术实现步骤摘要】
一种基于配置参数实现跨数据库类型同步数据的方法
本专利技术涉数据库
，尤其是一种基于配置参数实现跨数据库类型同步数据的方法。
技术介绍
数据库是按照数据结构来组织，存储和管理数据的仓库，并为多种应用服务。由于数据库类型多样化，如MSSQLServer，Oracle，MySQL等等，而且这些数据库定义的数据结构，存储方式和执行语言都不完全相同；这就给应用系统开发者带来数据同步的问题。目前数据库同步主要问题有：1、数据同步依赖于具体数据库类型，对于不同数据库类型的两个数据库同步数据，由于这些不同的数据库类型之间没有同步的接口，所以数据库维护人员需要做如下操作，以MySQL数据库存储的数据同步到MSSQLServer存储的数据库为例，首先导出MySQL数据库，保存为Excel文件，然后把导出的Excel文件导入到MSSQLServer管理器并创建临时数据库，通过编写SQL操作语句把临时数据库中的数据同步到目标数据库中。以上同步过程导出导入数据，编写SQL语句同步数据的过程之间不存在连贯进行，而且需要人为的参与；所以，目前跨数据库类型同步数据涉及手工环节多，容易出错，从而导致同步数据库准确率低，一次操作只能同步一次数据，通用性差。2、目前数据库同步系统依赖于数据库表结构，针对源端数据库和目标数据库的表结构，表名称和表的字段名称实现同步数据，这样的系统依赖于数据库表结构，表名称和表字段名称。一旦修改表结构，表名称或者表的字段名称则会导致该系统无法使用或需要维护源代码。这样的系统只能满足当前系统的业务需求，无法应用于其他数据库之间的同步，这样的系统缺乏通用性和可维护性。
技术实现思路
本专利技术解决的技术问题在于提供一种基于配置参数实现跨数据库类型同步数据的方法。本专利技术解决上述技术问题的技术方案是：包括如下步骤：(1)、配置参数，通过设置和读取配置文件中的配置参数，设置和读取：源端数据库和目标数据库的数据库类型，数据库连接字符串，源端数据库查询语句，分页信息，目标数据库表名称，表字段名称；(2)、读取数据并保存到内存，基于上述配置参数，读取源端数据库的类型和源端数据库读取数据的查询语句、分页信息，通过抽象工厂类生成对应的对象，调用对应执行操作数据库类将读取到的数据存放于内存中；(3)读取内存数据并保存到目标数据库，基于上述配置参数，读取目标数据库的类型、目标数据库数据表和对应字段，通过抽象工厂类生成对应的对象，调用对应执行操作数据库类将数据同步到对应的数据表和对应的字段中。用户可自定义配置参数，并将参数保存于配置文件中；参数包括源端数据库和目标数据库的数据库类型，数据库类型包括MSSQLServer数据库、Oracle数据库和MySQL数据库；并可扩展，如扩展sysbase数据库等。源端数据库读取数据的查询语句由用户自定义，查询语句对格式有特定的要求，源数据的字段名重命名为与目标数据库表中的字段名相同并且一一对应；分页信息包括是否分页和页码大小，针对大量数据同步的情况，可进行分页同步。基于配置参数中的源端数据库类型，通过抽象工厂和反射技术，生成访问对应接口的对象；基于配置参数中源端数据库连接字符串，源端数据库查询语句，通过接口对象调用操作数据库类读取数据并转换为以XML结构化格式的字符串保存在内存中。读取内存中存放的以XML结构化格式的字符串，基于配置参数中的目标数据库类型，通过抽象工厂和反射技术，生成访问对应接口的对象；基于配置参数中目标数据库表名和对应字段名称，对象调用操作数据库类同步数据。本专利技术解决了数据同步依赖于具体数据库类型和依赖于数据库表结构的问题。把源端数据库和目标数据库的数据库类型，源端数据库和目标数据库的连接字符串，源端数据库查询语句，分页信息，目标数据表名称，表字段名称配置于文件中，基于配置参数实现跨数据库同步数据，达到分解数据同步依赖于数据类型，依赖于数据库表结构的目的，提高数据同步的灵活性和通用性和可扩展性。源端数据库读取数据的查询语句自定义，分离了对源端数据库表结构的依赖，达到灵活配置的目的。分页信息包括是否分页和页码大小，针对大量数据同步的情况，可进行分页同步，避免大数据同步瞬间占用太多内存，出现服务器卡死或死机的现象.附图说明下面结合附图对本专利技术进一步说明：附图是本专利技术方法流程框图。具体实施方式如附图所示，本专利技术包括如下步骤，1、配置参数，如图1所示，用户配置参数，参数包括源端数据库和目标数据库的数据库类型，源端数据库和目标数据库连接字符串，源端数据库读取数据源的查询语句，分页信息，目标数据库同步数据的数据库表名称，表字段名称，通过写入配置参数模块将配置参数写入配置文件。2、读取数据库数据写入内存，如图1所示，系统通过读取配置参数模块获取源端数据库类型，源端数据库连接字符串和源端数据库查询语句，基于读取的源端数据库类型参数，通过抽象工厂类和反射技术生成数据库操作对象，通过对象调用相应的数据库类型操作类并基于源端数据库连接字符串，源端数据库查询语句和分页信息查询源端数据库数据并转换为XML结构化格式的字符串保存于内存中。3、读取内存数据同步数据库，如图1所示，系统通过读取配置参数模块获取目标数据库类型，目标数据库连接字符串和目标数据库表名称，表字段名称。读取内存中的数据，基于配置参数中目标数据库类型，通过抽象工厂类和反射技术生成数据库操作对象，通过对象调用相应的数据库类型操作类并基于目标数据库连接字符串和目标数据库表名称和表字段名称将数据同步到目标数据库。本文档来自技高网...

【技术保护点】
一种基于配置参数实现跨数据库同步数据的方法，其特征在于：包括如下步骤：(1)、配置参数，通过设置和读取配置文件中的配置参数，设置和读取：源端数据库和目标数据库的数据库类型，数据库连接字符串，源端数据库查询语句，分页信息，目标数据库表名称，表字段名称；(2)、读取数据并保存到内存，基于上述配置参数，读取源端数据库的类型和源端数据库读取数据的查询语句、分页信息，通过抽象工厂类生成对应的对象，调用对应执行操作数据库类将读取到的数据存放于内存中；(3)读取内存数据并保存到目标数据库，基于上述配置参数，读取目标数据库的类型、目标数据库数据表和对应字段，通过抽象工厂类生成对应的对象，调用对应执行操作数据库类将数据同步到对应的数据表和对应的字段中。

【技术特征摘要】
1.一种基于配置参数实现跨数据库同步数据的方法，其特征在于：包括如下步骤：(1)、配置参数，通过设置和读取配置文件中的配置参数，设置和读取：源端数据库和目标数据库的数据库类型，数据库连接字符串，源端数据库查询语句，分页信息，目标数据库表名称，表字段名称；(2)、读取数据并保存到内存，基于上述配置参数，读取源端数据库的类型和源端数据库读取数据的查询语句、分页信息，通过抽象工厂类生成对应的对象，调用对应执行操作数据库类将读取到的数据存放于内存中；(3)读取内存数据并保存到目标数据库，基于上述配置参数，读取目标数据库的类型、目标数据库数据表和对应字段，通过抽象工厂类生成对应的对象，调用对应执行操作数据库类将数据同步到对应的数据表和对应的字段中。2.根据权利要求1所述的跨数据库同步数据的方法，其特征在于：用户可自定义配置参数，并将参数保存于配置文件中；参数包括源端数据库和目标数据库的数据库类型，数据库类型包括MSSQLServer数据库、Oracle数据库和MySQL数据库；数据库类型可扩展sysbase数据库。3.根据权利要求1所述的跨数据库同步数据的方法，其特征在于：源端数据库读取数据的...

【专利技术属性】
技术研发人员：林伟斌，孙傲冰，季统凯，
申请(专利权)人：国云科技股份有限公司，
类型：发明
国别省市：