一种Greenplum数据库迁移方法及装置制造方法及图纸

技术编号:36073975 阅读:12 留言:0更新日期:2022-12-24 10:44
本发明专利技术涉及计算机编码软件技术领域,具体提供了一种Greenplum数据库迁移方法,在云溪迁移平台中上传Greenplum插件,配置好数据库连接信息,配合datatransform数据转换插件,实现与Greenplum数据库之间数据传输,数据信息加密再解密后使用。与现有技术相比,本发明专利技术应用场景更多,用途更广,适配更完善。进一步满足市场需求。根据不同数据库的语法规则和特性,有其特定的语法树及映射方案,完全采用程序自动识别,依照语法自动匹配转换。都是匹配的各个数据库的最新版本的语法,保证了该工具的准确和时效性。确和时效性。确和时效性。

【技术实现步骤摘要】
一种Greenplum数据库迁移方法及装置


[0001]本专利技术涉及计算机编码软件
,具体提供一种Greenplum数据库迁移方法及装置。

技术介绍

[0002]随着Greenplum于2015年10月开源,分布式数据库进一步得到了发展和关注,与浪潮云溪数据库ZNBase同样有着广泛的应用及市场。继而Greenplum插件编码诞生。它是一个低耦合高内聚的可插拔插件,用于不同数据之间与Greenplum数据库转换,包括数据传输,模式转换、迁移验证等。采用C/C++编写。适配不同的操作系统Linux、Mac、Windows。体积小低存耗,批量加载API来传输数据。特点:

耦合低

可插拔

体积小

低存耗。
[0003]现有浪潮云溪迁移平台,虽然支持多种数据库之前的数据迁移交换,但是缺少对Greenplum数据库的支持。

技术实现思路

[0004]本专利技术是针对上述现有技术的不足,提供一种实用性强的Greenplum数据库迁移方法。
[0005]本专利技术进一步的技术任务是提供一种设计合理,安全适用的Greenplum数据库迁移装置。
[0006]本专利技术解决其技术问题所采用的技术方案是:
[0007]一种Greenplum数据库迁移方法,在云溪迁移平台中上传Greenplum插件,配置好数据库连接信息,配合datatransform数据转换插件,实现与Greenplum数据库之间数据传输,数据信息加密再解密后使用。
[0008]进一步的,上传Greenplum插件至云溪迁移平台,平台会在服务器暂存组件包,添加运行时服务器,并勾选Greenplum插件随云消息负载均衡一起安装至目标服务器。
[0009]进一步的,创建任务配置数据库连接信息,连接到目标或源数据库,保存配置信息,信息会以文件的形式保存至服务器上留作后续使用。
[0010]进一步的,在所述任务下创建作业建立起数据库之前的信息流,然后下发配置文件,上述文件会被Greenplum插件解析并使用,启动任务,静待数据迁移完成。
[0011]进一步的,Greenplum插件读取采集到的SQL语句集或对象集,通过JudgeType()函数判断,将所需要的标志与集合一起传输至datatransform组件。
[0012]进一步的,所述datatransform内通过预先设计好的语法树规则,层层映射并转换对应语句集,将转换后的数据集传入对应数据库的Write组件,连接数据库迁移。
[0013]进一步的,数据信息统一的脱敏加密处理,连接配置信息通过linkedInfo()函数封装,传入加密函数encryptUtil()进行加密。
[0014]进一步的,信息加密后通过配置进入连接池中,共连接线程使用,在将要使用时通过decryptUtil()解密使用。
[0015]一种Greenplum数据库迁移装置,包括:至少一个存储器和至少一个处理器;
[0016]所述至少一个存储器,用于存储机器可读程序;
[0017]所述至少一个处理器,用于调用所述机器可读程序,执行一种Greenplum数据库迁移方法。
[0018]本专利技术的一种Greenplum数据库迁移方法及装置和现有技术相比,具有以下突出的有益效果:
[0019]本专利技术源数据库更丰富,新增Greenplum数据库配合主流企业数据库,进行数据迁移和语法转换。应用场景更多,用途更广,适配更完善。进一步满足市场需求。
[0020]根据不同数据库的语法规则和特性,有其特定的语法树及映射方案,完全采用程序自动识别,依照语法自动匹配转换。
[0021]都是匹配的各个数据库的最新版本的语法,保证了该工具的准确和时效性。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0023]附图1是一种Greenplum数据库迁移方法中Greenplum插件使用流程图;
[0024]附图2是一种Greenplum数据库迁移方法中数据迁移流程图;
[0025]附图3是一种Greenplum数据库迁移方法中数据信息加解密流程示意图。
具体实施方式
[0026]为了使本
的人员更好的理解本专利技术的方案,下面结合具体的实施方式对本专利技术作进一步的详细说明。显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。
[0027]下面给出一个最佳实施例:
[0028]本实施例中的一种Greenplum数据库迁移方法,一种Greenplum数据库迁移方法,在云溪迁移平台中上传Greenplum插件,配置好数据库连接信息,配合datatransform数据转换插件,实现与Greenplum数据库之间数据传输,数据信息加密再解密后使用。
[0029]具体步骤如下:
[0030]如图1所示,上传Greenplum插件至浪潮云溪迁移平台,平台会在服务器暂存该组件包。添加运行时服务器,并勾选Greenplum插件随云消息负载均衡一起安装至目标服务器。
[0031]上传Greenplum插件至浪潮云溪迁移平台,平台会在服务器暂存该组件包。添加运行时服务器,并勾选Greenplum插件随云消息负载均衡一起安装至目标服务器。
[0032]在任务下创建作业建立起数据库之前的信息流,然后下发配置文件,上述文件会被Greenplum插件解析并使用。启动任务,静待数据迁移完成。
[0033]如图2所示,Greenplum插件读取采集到的SQL语句集或对象集,通过JudgeType()
函数判断,将所需要的标志与集合一起传输至datatransform组件。
[0034]datatransform内通过预先设计好的语法树规则,层层映射并转换对应语句集select、update、delete等。
[0035]将转换后的数据集传入对应数据库的Write组件,连接数据库迁移。
[0036]如图3所示,信息统一的脱敏加密处理,连接等配置信息通过linkedInfo()函数封装,传入加密函数encryptUtil()进行加密。
[0037]信息加密后通过配置进入连接池中,共连接线程使用。
[0038]在将要使用时通过decryptUtil()解密使用。
[0039]基于上述方法,本实施例中的一种Greenplum数据库迁移装置,包括:至少一个存储器和至少一个处理器;
[0040]所述至少一个存储本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种Greenplum数据库迁移方法,其特征在于,在云溪迁移平台中上传Greenplum插件,配置好数据库连接信息,配合datatransform数据转换插件,实现与Greenplum数据库之间数据传输,数据信息加密再解密后使用。2.根据权利要求1所述的一种Greenplum数据库迁移方法,其特征在于,上传Greenplum插件至云溪迁移平台,平台会在服务器暂存组件包,添加运行时服务器,并勾选Greenplum插件随云消息负载均衡一起安装至目标服务器。3.根据权利要求1或2所述的一种Greenplum数据库迁移方法,其特征在于,创建任务配置数据库连接信息,连接到目标或源数据库,保存配置信息,信息会以文件的形式保存至服务器上留作后续使用。4.根据权利要求3所述的一种Greenplum数据库迁移方法,其特征在于,在所述任务下创建作业建立起数据库之前的信息流,然后下发配置文件,上述文件会被Greenplum插件解析并使用,启动任务,静待数据迁移完成。5.根据权利要求4所述的一种Greenplum数据库迁移方法,其特征在于,Greenplum插件读...

【专利技术属性】
技术研发人员:袁声思
申请(专利权)人:浪潮软件集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1