【技术实现步骤摘要】
一种数据节点的分配方法、设备及介质
本专利技术涉及分布式系统领域，更具体地，特别是指一种数据节点的分配方法、设备及可读介质。
技术介绍
Hadoop分布式文件系统HDFS采用机架感知的多副本存储策略来实现超大规模数据的完整性、一致性和可靠性，当前在HDFS默认副本放置策略中，部分副本存放的数据节点是随机选择的，没有考虑数据节点的空间利用率，容易造成集群负载失衡，在平衡负载过程中还浪费大量网络传输时间和网络带宽，没有考虑节点服务器的硬件性能，异构机器对数据读写速率不一样，对数据节点的实时负载和数据节点之间的网络距离没有充分考虑，容易导致集群系统负载不均衡，数据节点距离较远时会降低数据传输效率，影响运算性能，导致集群系统性能下降。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种数据节点的分配方法、设备及介质，可以通过综合考虑各个数据节点的负载使用信息，选取最优的存放副本的数据节点，从而实现负载均衡，提高集群系统的性能。基于上述目的，本专利技术实施例的一方面提供了一种数据节点的分配方法，包括...
【技术保护点】
1.一种数据节点的分配方法，其特征在于，包括：/n接收客户端的上传数据请求，并获取各个数据节点的负载使用信息；/n根据所述负载使用信息以及其中每个指标的对应负载权衡系数计算所述数据节点的综合评价值；以及/n选取本地机架上综合评价值最高的数据节点作为第一副本放置节点，选取非本地机架上综合评价值最高的若干数据节点作为其他副本放置节点。/n
【技术特征摘要】
1.一种数据节点的分配方法，其特征在于，包括：
接收客户端的上传数据请求，并获取各个数据节点的负载使用信息；
根据所述负载使用信息以及其中每个指标的对应负载权衡系数计算所述数据节点的综合评价值；以及
选取本地机架上综合评价值最高的数据节点作为第一副本放置节点，选取非本地机架上综合评价值最高的若干数据节点作为其他副本放置节点。
2.根据权利要求1所述的方法，其特征在于，所述获取各个数据节点的负载使用信息包括：
判断各个数据节点的运行情况是否正常；
响应于各个数据节点的运行情况正常，获取各个数据节点的负载使用信息。
3.根据权利要求2所述的方法，其特征在于，所述判断各个数据节点的运行情况是否正常包括：
判断各个数据节点的负载率是否超过阈值。
4.根据权利要求1所述的方法，其特征在于，所述负载使用信息包括：磁盘使用率、磁盘转速、CPU使用率、CPU性能、内存使用率、网络距离以及网络带宽使用率。
5.根据权利要求1所述的方法，其特征在于，所述选取本地机架上综合评价值最高的数据节点作为第一副本放置节点包括：
根据所述综合评价值由大到小对所有数据节...
【专利技术属性】
技术研发人员：张东东，朱永芳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。