【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种基于hdfs的磁盘选择方法、装置、设备、介质及产品。
技术介绍
1、hdfs是分布式文件系统，通常可能将数据存储在多个datanode节点上的多个磁盘上。hdfs提供了两种可选择的选盘策略:一是基于轮询的选盘策略(round robin volumechoosing policy)，二是基于可用空间的选盘策略(available space volume choosingpolicy)。
2、基于轮询的选盘策略会依次选择磁盘，当遍历完所有磁盘后，再从头开始选择，确保每个磁盘都有机会被选中，从而避免某些磁盘过度使用而其他磁盘闲置的情况。基于可用空间的选盘策略通过优先选择剩余空间较多的磁盘来存储新的数据块，从而在一定程度上避免数据存储的不均衡。
3、采用轮询卷存储方式虽然能保证每块盘都能得到使用，但是在长期运行的集群中由于数据删除和磁盘热插拔等原因，可能造成磁盘空间存储的不均。使用基于可用空间的选择策略，每个新写入的数据将进入新添加的空磁盘，而在此期间的其他磁盘处于空闲状态，这将在新磁...
【技术保护点】
1.一种基于HDFS的磁盘选择方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述性能指标值，选择目标磁盘之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述性能指标值，选择目标磁盘，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述性能指标值，选择目标磁盘，包括：
5.根据权利要求4所述的方法，其特征在于，在判断待存储数据量是否大于低可用空间磁盘组中剩余可用空间最大磁盘的可用空间之后，该方法还包括：
6.一种基于HDFS的磁盘选择装置，其特征
...【技术特征摘要】
1.一种基于hdfs的磁盘选择方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述性能指标值，选择目标磁盘之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述性能指标值，选择目标磁盘，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述性能指标值，选择目标磁盘，包括：
5.根据权利要求4所述的方法，其特征在于，在判断待存储数据量是否大于低可用空间磁盘组中剩余可用空间最大磁盘的可用空间之后，该方法还包括：
6.一种基于hdfs的磁盘选择装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述选择模块，在根据所述性能指标值，选择目标磁盘之前，还用于：获取所述磁...
【专利技术属性】
技术研发人员：李金鑫，陈进华，孙璐，袁东东，华迪，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。