一种基于数据库复制软件开发的通用数据装置方法制造方法及图纸

技术编号:42704818 阅读:21 留言:0更新日期:2024-09-13 11:58
本申请提出了一种基于数据库复制软件开发的通用数据装置方法,该方法包括:通过数据读取模块将需要加载的数据读入内存,其中,读入过程中将不同种类读入到内存的数据格式统一变成内部通用数据表达格式;通过数据转换模块对读入内存后的数据进行解析,对解析后的数据根据配置的转换规则和目标端数据库类型做数据转换;通过数据组装发送模块将转换后的数据组装成同样的流格式数据,发送给数据加载模块;通过数据加载模块对流格式数据做快速解析并转换为目标端当前环境接口需要的格式,调用该环境接口得到目标数据加载任务。本申请能够解决源端复制软件输出的数据怎么更快更好的装置到目标端不同种类数据库或者输出到大数据平台环境的问题。

【技术实现步骤摘要】

本申请涉及数据库复制领域,尤其涉及一种基于数据库复制软件开发的通用数据装置方法


技术介绍

1、数据库复制软件输出的数据文件通常装置都是直接读入解析后调用目标端数据库接口或者通用数据库的jdbc/odbc接口完成对数据库装置。jdbc/odbc为一种通用的数据库加载接口。

2、该方法的缺点是每种数据库接口在用法上多少有些差异,如果一份数据需要加载到多种不同数据库中,就需要单独想办法处理各个接口之间的差异,导致程序设计上会更复杂,容易出问题。不同数据库接口在多进程模式下面加载应用也会有所不同会带来程序结构设计上更多差异。另外各种不同种类数据库提供的接口也不一样,特别是最佳加载性能上不同数据库接口也会有各种差异。

3、另外,与多进程对应的还有多线程模式,是两种不同的操作系统内部程序运行模式。进程是对运行时程序的封装,是系统进行资源调度和分配的的基本单位各个进程之间内存使用互不干扰,线程是进程的子任务,进程下面的多个线程之间内存是共享使用的。

4、如果只是适用于目标端为1到3种数据库接口相对设计开发还比较简单,目标端数据库种类本文档来自技高网...

【技术保护点】

1.一种基于数据库复制软件开发的通用数据装置方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述数据加载模块能够根据目标端数据库环境与数据输出环境,生成与目标端数据库匹配的目标数据加载任务。

3.根据权利要求1所述的方法,其特征在于,所述通过数据转换模块对读入内存后的数据进行解析,包括:

4.根据权利要求3所述的方法,其特征在于,所述对解析后的数据根据配置的转换规则和目标端数据库类型做数据转换,包括:

5.根据权利要求4所述的方法,其特征在于,所述数据组装发送模块为数据库加载客户端接口,上层调用该数据库加载客户端接口能够...

【技术特征摘要】

1.一种基于数据库复制软件开发的通用数据装置方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述数据加载模块能够根据目标端数据库环境与数据输出环境,生成与目标端数据库匹配的目标数据加载任务。

3.根据权利要求1所述的方法,其特征在于,所述通过数据转换模块对读入内存后的数据进行解析,包括:

4.根据权利要求3所述的方法,其特征在于,所述对解析后的数据根据配置的转换规则和目标端数据库类型做数据转换,包括:

5.根据权利要求4所述的方法,其特征在于,所述数据组装发送模块为数据库加载客户端接口,上层调用该数据库加载客户端接口能够间接完成对不同类型数据库操作...

【专利技术属性】
技术研发人员:干红奎
申请(专利权)人:迪思杰北京数据管理技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1