【技术实现步骤摘要】
副本平衡方法、装置、存储介质及电子设备
本申请涉及分布式存储领域,具体而言,涉及一种副本平衡方法、装置、存储介质及电子设备。
技术介绍
在大数据发展愈发快速的今天,各大大数据公司存储的各种数据越来越多,达到一定程度后必然面临着机房扩充、多数据中心的需求,其中,Hadoop分布式文件系统在大规模集群中充当底层存储的角色,在扩展性、安全性、大数据量存储方面存在着天然优势,目前已成为业内主要的存储方案。分布式文件系统中,由于任一存储数据均存在对应的至少两个副本,而两个副本分别存储在不同的节点,当其中一个节点下电时,可以从另一个节点获得该数据对应的副本,从而具备高可用性。现有的系统中,当副本未平衡分布时,在搬迁机房时,单次只能搬迁1个节点,限制了搬迁的效率,浪费了人力。
技术实现思路
为了解决上述问题,本申请的目的在于提供一种副本平衡方法、装置、存储介质及电子设备。本申请实施例采用的技术方案如下:第一方面,本申请实施例提供一种副本平衡方法,应用于主管理节点,所述方法包括:针对每一备 ...
【技术保护点】
1.一种副本平衡方法,应用于主管理节点,其特征在于,所述方法包括:/n针对每一备份数据,确定所述备份数据的副本是否全部存储于第一机架的节点上;/n当所述备份数据的副本全部存储于第一机架的节点上时,在至少一个第二机架的节点上存储所述备份数据的副本。/n
【技术特征摘要】
1.一种副本平衡方法,应用于主管理节点,其特征在于,所述方法包括:
针对每一备份数据,确定所述备份数据的副本是否全部存储于第一机架的节点上;
当所述备份数据的副本全部存储于第一机架的节点上时,在至少一个第二机架的节点上存储所述备份数据的副本。
2.如权利要求1所述的副本平衡方法,其特征在于,在至少一个第二机架的节点上存储该备份数据的副本之前,还包括:
确定是否存在所述第二机架;
若否,则构建至少一个所述第二机架,每一所述第二机架包含至少一个节点。
3.如权利要求1所述的副本平衡方法,其特征在于,还包括:
分别获取所述备份数据对应的副本系数和所述备份数据当前副本数量;所述副本系数为所述备份数据对应的副本的数量最大值;
根据所述当前副本数量和所述副本系数的相对关系,调节所述备份数据的副本数量,以使调节后的副本数量与所述副本系数一致。
4.如权利要求3所述的副本平衡方法,其特征在于,所述根据所述当前副本数量和所述副本系数的相对关系,调节所述备份数据的副本数量,以使调节后的副本数量与所述副本系数一致,包括:
当所述当前副本数量大于所述副本系数时,删除所述备份数据的N个副本,以使调节后的副本数量与所述副本系数一致且确定所述备份数据的剩余副本存储在不同的机架上;
其中,所述N为所述当前副本数量与所述副本系数的差值,删除的N个副本来源于至少一个目标机架上,所述目标机架存储有所述备份数据的多个副本,所述目标机架为所述第一机架和/或至少一个所述第二机架。
5.如权利要求3所述的副本平衡方法,其特征在于,所述根据所述当前副本数量和所述副本系数的相对关系,调节所述备份数据的副本数量,以使调节...
【专利技术属性】
技术研发人员:樊美钦,
申请(专利权)人:新华三大数据技术有限公司,
类型:发明
国别省市:河南;41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。