数据集群迁移方法及装置制造方法及图纸

本发明专利技术提供了一种数据集群迁移方法及装置，数据集群迁移方法包括：根据待迁移数据集群的物理表生成一参数表；所述参数表中参数包括：限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间；根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令；根据所述待迁移数据集群以及所述迁移指令，生成可以迁移至所述目标数据集群的导出数据；根据所述导入指令将所述导出数据导入至所述目标数据集群中。本发明专利技术提供的数据集群迁移方法及装置能够适用于两个集群间表级别的数据迁移，且具有通用性。

Data cluster migration method and device

【技术实现步骤摘要】
数据集群迁移方法及装置
本专利技术涉及数据库
，具体涉及金融行业的大数据
，特别是涉及一种数据集群迁移方法及装置。
技术介绍
如今，随着大数据的爆发式高速发展，存储的数据每天都以TB级别的增加，而且伴随越来越严格的监管数据要求，新型的AI等业务类型所需的历史数据也越来越长。导致了日益增长的数据存储需求和当前整个集群容量的矛盾。为了解决经济的扩容问题。引入分布式的大数据平台简称：而把数据从当前集群迁移到目标集群的任务就迫在眉睫。现有技术中，没有出现两个数据集群并存的情况，急需一种灵活快速的方法实现数据的跨集群搬迁。
技术实现思路
针对现有技术中的问题，本专利技术提供的数据集群迁移方法及装置能够适用于两个集群间表级别的数据迁移，且具有通用性；并适用于各种灵活拆分表、大批量、多并发、全自动的数据同步；从而使开发周期和成本大大降低，减少了工作量，能够快速部署上线。为解决上述技术问题，本专利技术提供以下技术方案：第一方面，本专利技术提供一种数据集群迁移方法，包括：根据待迁移数据集群的本文档来自技高网...

【技术保护点】
1.一种数据集群迁移方法，其特征在于，包括：/n根据待迁移数据集群的物理表生成一参数表；所述参数表中参数包括：限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间；/n根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令；/n根据所述待迁移数据集群以及所述迁移指令，生成可以迁移至所述目标数据集群的导出数据；/n根据所述导入指令将所述导出数据导入至所述目标数据集群中。/n

【技术特征摘要】
1.一种数据集群迁移方法，其特征在于，包括：
根据待迁移数据集群的物理表生成一参数表；所述参数表中参数包括：限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间；
根据所述待迁移数据集群的元数据以及所述参数表生成数据导出指令以及导入指令；
根据所述待迁移数据集群以及所述迁移指令，生成可以迁移至所述目标数据集群的导出数据；
根据所述导入指令将所述导出数据导入至所述目标数据集群中。


2.根据权利要求1所述的数据集群迁移方法，其特征在于，所述导出指令以及导入指令为sql指令。


3.根据权利要求1所述的数据集群迁移方法，其特征在于，所述导出数据为所述待迁移数据集群的逻辑表对应至磁盘的数据文本的集合。


4.根据权利要求1所述的数据集群迁移方法，其特征在于，还包括：更新所述参数表中的作业状态为导出完成、作业开始时间以及作业结束时间。


5.一种数据集群迁移装置，其特征在于，包括：
参数表生成单元，用于根据待迁移数据集群的物理表生成一参数表；所述参数表中参数包括：限制条件、优先级、目标数据集群的对应库以及对应表、作业状态、作业开始时间以及作业结束时间；...

【专利技术属性】
技术研发人员：陈开，匡蕴娟，周凯，卢祥光，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11