一种数据迁移方法和装置制造方法及图纸

本发明专利技术公开了一种数据迁移方法和装置，涉及大数据技术领域，该方法包括：从待迁移的数据槽中选定待迁移的键值数据；判断键值数据的数据量是否大于风险阈值；若是，将键值数据中的数据元素分批次发送至分布式集群中的目标节点；其中，每批次发送的数据元素的数据量小于所述风险阈值。通过上述方法可以有效避免键值数据过大而导致的线程阻塞、客户端超时、服务端业务成功率下降等问题，使集群可以平滑地完成扩容和缩容。完成扩容和缩容。完成扩容和缩容。

【技术实现步骤摘要】
一种数据迁移方法和装置


[0001]本专利技术涉及大数据
，尤其涉及一种数据迁移方法和装置。

技术介绍

[0002]数据可以通过分布式集群的方式进行存储。集群的伸缩包括新节点的加入和旧节点的退出。当新节点加入时，需要把一部分数据迁移到新节点来达到集群的负载均衡，当旧节点退出时，需要把旧节点上的数据迁移到其他节点上，以确保旧节点上的数据能够被正常访问。当集群伸缩产生数据迁移时，可能会遇到键值数据过大导致线程阻塞、节点对外服务能力下降等问题。
[0003]基于现有的数据迁移方法，无法及时有效地处理键值数据过大造成线程阻塞的问题。
[0004]针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本说明书实施例提供了一种数据迁移方法和装置，以解决现有技术无法及时有效地处理键值数据过大的问题。
[0006]本说明书实施例提供一种数据迁移方法，该方法包括：
[0007]从待迁移的数据槽中选定待迁移的键值数据；
[0008]判断键值数据的数据量是否大于风险阈值；
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，应用于分布式集群中的源节点，所述方法包括：从待迁移的数据槽中选定待迁移的键值数据；判断键值数据的数据量是否大于风险阈值；若是，将键值数据中的数据元素分批次发送至分布式集群中的目标节点；其中，每批次发送的数据元素的数据量小于所述风险阈值。2.根据权利要求1所述的方法，其特征在于，所述将键值数据中的数据元素分批次发送至分布式集群中的目标节点，包括：向分布式集群中的目标节点发送一个批次的数据元素，在接收到目标节点反馈的确收响应以后，向分布式集群中的目标节点发送另一个批次的数据元素。3.根据权利要求1所述的方法，其特征在于，所述键值数据包括：字符型键值数据，相应地，将键值数据中的数据元素分批次发送至分布式集群中的目标节点，包括：获取拆分单元；按照拆分单元对字符型键值数据中的数据元素进行分割处理，得到多个分割键值数据；将多个分割键值数据分批次发送至分布式集群中的目标节点。4.根据权利要求3所述的方法，其特征在于，所述键值数据还包括：集合型键值数据，相应地，将键值数据中的数据元素分批次发送至分布式集群中的目标节点，还包括：按照所述拆分单元对所述集合型键值数据中的数据元素进行打包处理，得到多个数据包键值数据；将多个数据包键值数据分批次发送至分布式集群中的目标节点。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：武文斌，王辉，巫春梅，黄海鹏，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：