负载均衡方法、装置及计算机设备制造方法及图纸

本申请提出了一种负载均衡方法、装置和计算机设备，通过监测分布式文件系统中多个数据节点的预设指标参数，据此实时更新各数据节点的节点权重，以使更新后的节点权重能够表征当前该数据节点被允许的使用容量比例，使得计算机设备(如管理节点或额外配置的监控节点)能够据此识别存在竞争的资源，通过各数据节点当前具有的节点权重，实现多个数据节点之间的数据迁移处理，有效实现多个数据节点之间的负载均衡，提高了负载均衡处理效率和可靠性，有助于整个系统性能稳定，减少新的数据写入操作造成分布式文件系统性能风险。成分布式文件系统性能风险。成分布式文件系统性能风险。

【技术实现步骤摘要】
负载均衡方法、装置及计算机设备


[0001]本申请主要涉及分布式
，更具体地说是涉及一种负载均衡方法、装置及计算机设备。

技术介绍

[0002]在大数据时代，通常是采用分布式文件系统(Distributed File System，DFS)实现数据存储和管理。其中，分布式文件系统包括多个数据节点和管理节点。这些数据节点负责真实文件的存储、读取和写入；管理节点负责将任务分配给这些数据节点执行，满足应用需求。
[0003]然而，当分布式文件系统规模扩大到一定程度后，由于数据分布在不同数据节点上，数据写入读取的频率差异，以及各个数据节点的配置差异，都将会导致数据节点之间负载偏差变大，负载不均衡，此时，管理节点通常是增大数据节点的如IO吞吐量等指标参数，来缓解各数据节点之间的负载不均衡问题。
[0004]但分布式文件系统的这种数据重平衡方式并不能有效解决多个数据节点之间的负载不均衡问题，且在出现某数据节点的如IO吞吐量等指标参数变大的情况下，分布式文件系统启动重平衡功能，将会进一步竞争IO资源，加重负载不均衡的问题。
专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种负载均衡方法，所述方法包括：获取多个数据节点各自的预设指标参数；依据所述预设指标参数，更新所述多个数据节点各自的节点权重；其中，所述节点权重表征相应数据节点被允许的使用容量比例；依据更新后的所述节点权重，对所述多个数据节点进行数据迁移处理，实现所述多个数据节点之间的负载均衡。2.根据权利要求1所述的方法，所述依据所述预设指标参数，更新所述多个数据节点各自的节点权重，包括：依据所述预设指标参数，对所述多个数据节点进行分类，得到第一数据节点集和第二数据节点集；确定所述第二数据节点的剩余容量大于预设容量阈值，减小所述第一数据节点集中的第一数据节点的第一节点权重，并增大所述第二数据节点集中的第二数据节点的第二节点权重。3.根据权利要求2所述的方法，所述依据所述预设指标参数，对所述多个数据节点进行分类，得到第一数据节点集和第二数据节点集，包括：检测所述预设指标参数是否达到相应的指标阈值，得到相应的指标检测结果；将所述指标检测结果均为达到相应的所述指标阈值的数据节点确定为第一数据节点，由所述第一数据节点构成第一数据节点集；将所述指标检测结果均为未达到相应的所述指标阈值的数据节点确定为第二数据节点，由所述第二数据节点构成第二数据节点集。4.根据权利要求3所述的方法，所述依据所述预设指标参数，对所述多个数据节点进行分类，得到第一数据节点集和第二数据节点集，还包括：将所述指标检测结果为存在达到相应的所述指标阈值的所述第一预设指标参数以及未达到相应的所述指标阈值的第二预设指标参数的数据节点确定为第三数据节点；依据任一所述第三数据节点的所述第一预设指标参数个数与所述第二预设指标参数个数的比较结果，将该所述第三数据节点分配至所述第一数据节点集或所述第二数据节点集；或者，对所述第三数据节点的多个所述预设指标参数配置相应的指标权重；所述指标权重表征相应预设指标参数对所述第三数据节点的资源竞争力的影响力；依据所述预设指标参数以及相应的所述指标权重，对多个所述第三数据节点进行资源竞争力排序；依据多个所述第三数据节点的资源竞争力排序，将多个所述第三数据节点按照预设步长依次分配至所述第一数据节点集和所述第二数据节点集。5.根据权利要求2
‑
4任一项所述的方法，还包括：预测所述第一数据节点集中的各第一数据节点的总迁移数据量；检测到所述总迁移数据量未达到所述各第一数据节点的总数据量的预设迁移比例，至少增加所述第一数据节点的第一节点权重...

【专利技术属性】
技术研发人员：陆明，张心怡，王友焱，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：