用于数据库集群数据迁移的方法和系统技术方案

本发明专利技术涉及一种用于数据库集群数据迁移的方法和系统。该方法包括通过接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据；采用insert select方式做数据重分布，将接收到的数据重新打散到计算节点上。根据本发明专利技术的实施例，目的端数据库集群在并行复制完数据后，直接在数据库内部采用insert select的方式进行数据重分布，大幅提高了数据抽取、传输、加载的安全性和性能，大大节省了数据搬迁的时间，减少了对业务的影响。

Method and system for data migration in database cluster

The invention relates to a method and a system for data cluster data migration. This method includes all data copied in parallel by using the batch call point data replication mode by receiving the source end database cluster. The data redistribution is done by insert select, and the received data are redistributed to the computing node. According to the embodiment of this invention, the destination database cluster can redistribute data directly in the database using insert select after the data is copied in parallel. It greatly improves the security and performance of data extraction, transmission and loading, greatly saves the time of data transfer and reduces the impact on the business.

【技术实现步骤摘要】
用于数据库集群数据迁移的方法和系统
本专利技术涉及数据库领域，尤其涉及一种用于数据库集群数据迁移的方法和系统。
技术介绍
随着移动4G业务的迅速发展，大量4G信令数据传输到大规模并行处理(massivelyparallelprocessing，MPP)数据库中，该数据采用多种BI工具，利用数据集成的方式，将企业内部的各生产平台数据集中到MPP数据库中。通过统计分析、数据挖掘等手段，为市场经营服务、为领导决策提供分析支撑。库数据库目前存放的基础数据主要为：客户资料、用户资料、话单、业务受理等，同时也包含了客服、网管、信令等平台传递给经分系统的数据。然而，与日俱增的数据导致数据库运行压力倍增，已不能承载当前日益增长的业务需求，急需建立一套更高性能的MPP数据库来承载数据仓库业务，并让数据库数据在最短的时间内迁移到新库上。传统的数据库迁移方法主要包括以下几种：(一)数据备份恢复；(二)数据直接拷贝；(三)第三方迁移工具；专利技术人在研究的过程中发现，上述数据迁移方法存在如下缺陷：(一)数据备份恢复：1、传统的数据备份和恢复需要消耗大量的本地CPU和磁盘IO资源。2、备份出来的数据文件需要借本文档来自技高网...

【技术保护点】
1.一种用于数据库集群数据迁移的方法，其特征在于，包括：接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据；采用插入选择方式做数据重分布，将接收到的数据重新打散到计算节点上。

【技术特征摘要】
1.一种用于数据库集群数据迁移的方法，其特征在于，包括：接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据；采用插入选择方式做数据重分布，将接收到的数据重新打散到计算节点上。2.如权利要求1所述的方法，其特征在于，所述接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据，包括：源端数据库集群采用批量调用数据库底层API接口复制方式，在目的端数据库集群中随机选取与所述源端数据库集群中的源端数据库服务器等量的目的端服务器，通过互信方式接收源端数据库集群中的源端数据库服务器并行复制的全部数据。3.如权利要求2所述的方法，其特征在于，所述通过互信方式接收源端数据库集群中的源端数据库服务器并行复制的全部数据，包括：源端数据库集群与目的端数据库集群间采用交换机互联，创建安全互信；源端数据库集群中的源端数据库服务器并行抽取各个计算节点上的数据，批量导出DDL，目的端数据库集群中的目的端数据库服务器上创建与源端数据库服务器批量导出DDL对应的所有对象；通过源端数据库集群中部署的复制工具，将数据并行复制到目的端服务器的计算节点上。4.如权利要求3所述的方法，其特征在于，所述目的端数据库集群中的目的端数据库服务器上创建与源端数据库服务器批量导出DDL对应的所有对象，包括：获取源端数据库集群中的源端数据库服务器上的需要进行数据迁移的对象列表，基于所述对象列表，创建与源端数据库服务器批量导出DDL对应的所有对象。5.如权利要求3所述的方法，其特征在于，所述通过源端数据库集群中部署的复制工具，将数据并行复制到目的端服务器的计算节点上，包括：源端数据库集群中部署的复制工具访问源端数据库服务器后台实例的复制接口，通过该接口批量抽取和加载数据，直接将源端数据库服务器上的数据并行复制到目的端数据库服务器上。6.如权利要求1所述的方法，其特征在于，所述采用插入选择方式做数据重分布，将接收到的数据重新打散到计算节点上，包括：源端数据库服务器并行复制过来的数据直接加载到目的端数据库服务器新建的schema下，采用quicklz压缩随机分布的方式将数据存储，通过插入选择方式在目的端数据库服务器中做数据重分布，将接收到的数据重...

【专利技术属性】
技术研发人员：王海通，张琳，
申请(专利权)人：中国移动通信集团河北有限公司，中国移动通信集团公司，
类型：发明
国别省市：河北,13