基于HDFS的数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种基于HDFS的数据迁移方法、装置、电子设备及存储介质，尤其涉及数据处理技术领域。包括：获取数据节点上磁盘的容量和使用量；磁盘包括待卸载的源磁盘和其他磁盘；设置源磁盘的卷数据密度为预设值，计算其他磁盘的卷数据密度；根据其他磁盘的卷数据密度，将源磁盘的数据迁移至其他磁盘，以及均衡其他磁盘之间的数据，以在卸载源磁盘后维持数据节点的数据均衡状态。本申请实施例使得源磁盘数据能够被全部清理掉，支持源磁盘安全卸载；并且在其他磁盘之间也通过卷数据密度来均衡数据，使得数据节点上各磁盘上数据均匀分布，有利于维持源磁盘卸载后数据读写的稳定性。

【技术实现步骤摘要】

本申请涉及数据处理，尤其涉及一种基于hdfs的数据迁移方法、装置、电子设备及存储介质。

技术介绍

1、hdfs是分布式文件系统，通常可能将数据存储在多个数据节点(datanode)上的多个磁盘上。然而，由于大量的数据写入和删除操作以及磁盘更换等原因，导致datanode内的多个磁盘之间可能出现数据不均衡的情况。

2、为了解决这个问题，hadoop3.0版本中引入了diskbalancer工具。diskbalancer专注于datanode内部的数据均衡，它可以将数据在一个datanode下的多个磁盘之间进行均衡分配。diskbalancer工具支持两个主要功能，即报告和平衡，其可以通过将数据从一个磁盘移动到其他磁盘，以实现datanode内部的数据均衡。这样可以确保数据在各个磁盘之间分布均匀，提高系统的性能和吞吐量。但diskbalancer工具不能满足磁盘下线和磁盘替换的需求。只能做到磁盘间存储的均衡，不能将源磁盘数据全部清理掉。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术本文档来自技高网...

【技术保护点】

1.一种基于HDFS的数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述计算所述其他磁盘的卷数据密度，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述其他磁盘的卷数据密度，将所述源磁盘的数据迁移至其他磁盘，以及均衡其他磁盘之间的数据，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述其他磁盘的卷数据密度，将所述源磁盘的数据迁移至其他磁盘，以及均衡其他磁盘之间的数据之前，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述其他磁盘的卷数据密度，将所述源磁盘的数据迁移至...

【技术特征摘要】

1.一种基于hdfs的数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述计算所述其他磁盘的卷数据密度，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述其他磁盘的卷数据密度，将所述源磁盘的数据迁移至其他磁盘，以及均衡其他磁盘之间的数据，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述其他磁盘的卷数据密度，将所述源磁盘的数据迁移至其他磁盘，以及均衡其他磁盘之间的数据之前，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述其他磁盘的卷数据密度，将所述源磁盘的数据迁移至其他磁盘，以及均衡其他磁盘之间的数据，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述其他磁...

【专利技术属性】
技术研发人员：李金鑫，陈进华，孙璐，张祥，袁东东，杨志超，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：