一种集群间数据迁移方法及可视化运维工具技术

本发明专利技术公开了一种集群间数据迁移方法及可视化运维工具。本发明专利技术是基于Greenplum数据库集群的任意两个集群间的数据迁移，包括：1.在Django管理后台中添加集群信息、集群间单向关系信息、DBA信息，分别用于存储待管理集群信息、集群间可执行数据迁移的单向关系、可执行数据同步任务的数据库管理人员；2.登录并选择源数据集群；3.选择源数据集群中的待同步数据库；4.根据选择的待同步数据库，以树形勾选框方式分层展示待同步schema或表；5.填写目标数据库名称；6.生成相应迁移命令脚本，创建任务记录，添加任务至celery任务队列，通过paramiko远程执行脚本；7.查询同步任务记录。本发明专利技术能够较大地降低迁移数据的成本，且提升数据迁移的效率。

【技术实现步骤摘要】

本专利技术属于信息，具体涉及一种集群间数据迁移方法及自动化运维工具。

技术介绍

1、“大数据”时代的到来，对社会和人类的发展产生了不容忽视的影响，越来越多的行业向数据驱动转变，数据成为了“新”的生产力。从衣食住行到娱教医养，数据已经渗透到我们生活和工作的方方面面。依托于大数据发展的机器学习、人工智能等技术的热度更是居高不下。在这个数据信息爆炸式增长时代，快速的数据采集和精准的数据挖掘为高效的数据应用提供了必要条件；数据资产日益增长，数据在不同集群环境下的迁移同步，是作为数据库运维人员和开发人员需要关注的重点。

2、大数据产业发展迅速，基于mpp架构的greenplum新一代pb级分布式htap数据库，为越来越多的需要同时涉及oltp和olap的系统采用，但是相对来说相关运维工具的自动化还处于起步阶段。目前greenplum的dba门槛较高，相关运维任务执行成本也较重。本专利技术是从greenplum数据库集群的运维过程中总结经验和方法，封装了gpcopy工具，并提供了相应的可视化运维工具，较大地提升了集群间数据同步的效率，为greenplum集本文档来自技高网...

【技术保护点】

1.一种集群间数据迁移方法，其特征在于，该方法是实现基于Greenplum数据库集群的任意两个集群间的数据迁移，数据迁移具体任务执行的实现方式及步骤如下：

2.根据权利要求1所述的一种集群间数据迁移方法，其特征在于，目标数据库是目标数据集群已存在的数据库，或是当前不存在的数据库，存在则根据数据迁移策略对目标数据集群中的数据进行同步。

3.根据权利要求2所述的一种集群间数据迁移方法，其特征在于可选的数据迁移策略有：备份存量表并新建表结构并同步数据，保留表结构清空目标库数据并同步数据，追加数据。

4.一种集群间数据迁移的可视化运维工具，其特征在于，该可视化...

【技术特征摘要】

1.一种集群间数据迁移方法，其特征在于，该方法是实现基于greenplum数据库集群的任意两个集群间的数据迁移，数据迁移具体任务执行的实现方式及步骤如下：

2.根据权利要求1所述的一种集群间数据迁移方法，其特征在于，目标数据库是目标数据集群已存在的数据库，或是当前不存在的数据库，存在则根据数据迁移策略对目标数据集群中的数据进行同步。

3.根据权利要求2所述的一种集群间数据迁移方法，其特征在于可选的数据迁移策略有：备份存量表并新建表结构并同步数据，保留表结构清空目标库数据并同步数据，追加数据。

4.一...

【专利技术属性】
技术研发人员：王一君，陈灿，贾贵成，张冲，
申请(专利权)人：杭州览众数据科技有限公司，
类型：发明
国别省市：