一种分布式数据库数据在线迁移方法技术

本发明专利技术公开了一种分布式数据库数据在线迁移方法，其特征在于，包括部署分布式数据库集群下物理库的挖掘环境，将增量数据写入topic中；读取topic中增量数据，通过特殊账号写入到分布式数据库，当kafka成功记录了当前消费位置信息后停止增量同步；全量读取，通过特殊账号再次写入到分布式数据库，同步结束后，再次读取增量数据，通过特殊账号写入到分布式数据库；通知分布式数据库进行配置切换，删除旧分片的冗余数据。达到在业务系统无感知的情况下实现全量数据以及增量数据的迁移，解决迁移性能问题，保证数据不丢失，透明化的完成数据迁移和配置切换，扩容完成后可以精准的删除迁移过程中产生的冗余数据的效果。删除迁移过程中产生的冗余数据的效果。删除迁移过程中产生的冗余数据的效果。

【技术实现步骤摘要】
一种分布式数据库数据在线迁移方法


[0001]本专利技术涉及分布式数据库领域，特别是涉及一种分布式数据库数据在线迁移方法。

技术介绍

[0002]随着计算机和信息技术的快速发展，行业应用规模不断扩大，行业应用所产生的数据量呈爆炸式增长，传统数据库面对大规模的数据处理逐渐表现出其局限性，仅仅是通过增大传统数据库的存储空间，也只是补救一时，无法满足未来的发展。因此，在海量数据的情况下，人们希望能寻找一种能够快速处理数据和及时响应用户的方法，分布式数据库应运而生。
[0003]分布式数据库将数据存储在各物理库上，随着时间的推移，各分片上数据量及访问量越来越大，服务器容量和性能达到了一定的瓶颈，这时候就需要对数据库进行扩容。
[0004]目前市场上主流的分布式数据库基本上都是面向离线扩容的，很难做到在线扩容。在线扩容不仅仅需要考虑全量数据迁移同时还需要考虑增量数据迁移，最终保证数据库服务不停止、业务系统无感知、迁移结果正确性。专利“一种数据的同步方法及装置、存储介质及电子装置”(申请号：202010281618.5)提到查询预定主题to本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库数据在线迁移方法，其特征在于，包括如下步骤：步骤1：部署分布式数据库集群下各个物理库的挖掘环境，将增量数据写入到指定topic中；步骤2：配置并开启增量同步任务，读取topic中增量数据，将增量数据通过特殊账号写入到分布式数据库，所述特殊账号采用第二配置；步骤3：当kafka成功记录了当前消费位置信息后停止增量同步任务；步骤4：配置并开启全量同步任务，全量读取分布式数据库数据，所述全量读取采用第一配置，通过特殊账号再次写入到分布式数据库；步骤5：再次开启增量同步任务，当全量数据全部同步结束后，再次读取topic中增量数据，将剩余的增量数据全部通过特殊账号写入到分布式数据库；步骤6：当增量同步任务全部结束后，开启通知机制通知分布式数据库进行配置切换，将第一配置切换到第二配置；步骤7：以上步骤全部完成后，根据主键删除旧分片的冗余数据。2.如权利要求1所述的一种分布式数据库数据在线迁移方法，其特征在于：所述步骤1包括：步骤1
‑
1：在kafka上为分布式数据库集群下各个物理库实例分别申请一个topic；步骤1
‑
2：为分布式数据库集群下各个物理库实例开启binlog日志挖掘，捕获并分析binlog日志中每一个事件的信息，将解析出来的变更记录写入到对应的topic中。3.如权利要求2所述的一种分布式数据库数据在线迁移方法，其特征在于：所述步骤2包括：在数据总线管理系统上配置增量同步任务，配置Include Tables项，只同步扩容任务包含的库表信息。4.如权利要求4所述的一种分布式数据库数据在线迁移方法，其特征在于：所述步骤4包括：步骤4
‑
1：在数据总线管理系统上配置全量同步任务，支持在多台机器资源上部署多个全量同步任务，将库表信息按照所占的空间大小均匀的分配到各个全量同步任务上，每个全量同步任务所分配的库...

【专利技术属性】
技术研发人员：洪皓，徐蔡飞，
申请(专利权)人：焦点科技股份有限公司，
类型：发明
国别省市：