集群系统的文件定位、存储方法和装置制造方法及图纸

技术编号:14314266 阅读:124 留言:0更新日期:2016-12-30 16:26
本发明专利技术公开了一种集群系统的文件定位、存储方法和装置。其中,该方法包括:接收客户终端发送的定位目标文件指令,定位目标文件指令中携带有待定位目标文件的路径信息;根据路径信息,计算待定位目标文件的特征值;根据特征值确定待定位目标文件所在的存储地址映射的取值区间;根据存储地址映射的取值区间确定待定位目标文件所在的第一集群节点;判断第一集群节点是否正常通信;在判断出第一集群节点正常通信的情况下,确定待定位目标文件存储在第一集群节点上。通过本发明专利技术,解决了现有技术中主服务器故障导致集群无法定位的问题,达到了提高集群系统可用性的目的,从而实现了准确确定文件所处位置的技术效果。

【技术实现步骤摘要】

本专利技术涉及集群系统文件定位领域,具体而言,涉及一种集群系统的文件定位、存储方法和装置
技术介绍
目前常见的集群文件索引定位方法是通过在集群中布置主数据服务器来实现的,以GFS(全局文件系统Global File System,简称GFS)为例进行说明:GFS文件系统由客户端、主服务器和多台数据块服务器组成,主服务器重放元数据服务器的角色,文件的索引定位信息保存在主服务器上。客户端在定位文件时首先向主服务器发送请求,获取文件信息和文件所在的数据块服务器位置后,再向数据块服务器发出请求访问文件数据。这种方法的缺点是文件索引依赖于主服务器,当主服务器故障时,整个集群的文件检索定位都无法执行。其他集群文件系统例如lustre(一种平行分布式文件系统),虽然在集群中设置了2个主数据服务器来降低单个主数据服务器故障对整个集群的影响,但是仍然无法解决2个主服务器均故障时整个集群无法进行定位工作的问题。针对上述现有技术中主服务器故障导致集群无法定位的问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种集群系统的文件定位、存储方法和装置,以至少解决现有技术中主服务器故障导致本文档来自技高网...
集群系统的文件定位、存储方法和装置

【技术保护点】
一种集群系统的文件定位方法,其特征在于,所述集群系统包括至少两个对等分布的集群节点,每个所述集群节点具有相应的存储地址映射的取值区间,所述集群节点之间互相通信连接,所述方法包括:接收客户终端发送的定位目标文件指令,所述定位目标文件指令中携带有待定位目标文件的路径信息;根据所述路径信息,计算所述待定位目标文件的特征值;根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间;根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点;判断所述第一集群节点是否正常通信;以及在判断出所述第一集群节点正常通信的情况下,确定所述待定位目标文件存储在所述第一集群节点上。

【技术特征摘要】
1.一种集群系统的文件定位方法,其特征在于,所述集群系统包括至少两个对等分布的集群节点,每个所述集群节点具有相应的存储地址映射的取值区间,所述集群节点之间互相通信连接,所述方法包括:接收客户终端发送的定位目标文件指令,所述定位目标文件指令中携带有待定位目标文件的路径信息;根据所述路径信息,计算所述待定位目标文件的特征值;根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间;根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点;判断所述第一集群节点是否正常通信;以及在判断出所述第一集群节点正常通信的情况下,确定所述待定位目标文件存储在所述第一集群节点上。2.根据权利要求1所述的方法,其特征在于,在判断出所述第一集群节点不能正常通信的情况下,所述方法还包括:更新所述集群节点中正常通信节点的取值区间;对所述特征值进行取整计算;获取经过取整计算后所述特征值所处的取值区间;以及确定所述待定位目标文件存储在第二集群节点上,其中,所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。3.根据权利要求2所述的方法,其特征在于,对所述特征值进行取整计算包括:计算所述特征值和所述第一集群节点的取值区间起始值之差,得到差值;计算所述差值除以第一集群节点的区间长度,得到中间结果,其中,第一集群节点的区间长度为目标最大值与目标最小值之差,所述目标最大值为所述第一集群节点的取值区间的最大值,所述目标最小值为所述第一集群节点的取值区间的最小值;计算所述中间结果乘以所述集群节点中正常通信节点的数量,得到目标结果;以及向上取整所述目标结果得到取整计算后的所述特征值。4.根据权利要求2所述的方法,其特征在于,更新所述集群节点中正常通信节点的取值区间包括:根据所述集群节点中正常通信节点的数量将所述第一集群节点的取值区间等分,得到多个取值子区间;以及将所述多个取值子区间一一对应地分配给所述集群节点中正常通信的节点。5.根据权利要求1所述的方法,其特征在于,根据所述路径信息,计算所述待定位目标文件的特征值包括:将所述路径信息转换成固定长度;以及对所述固定长度取余计算,得到所述特征值。6.一种集群系统的文件定位装置,其特征在于,所述集群系统包括至少两个对等分布的集群节点,每个所述集群节点具有相应的存储地址映射的取值区间,所述集群节点之间互相通信连接,包括:第一接收单元,用于接收客户终端发送的定位目标文件指令,所述定位目标文件指令中携带有待定位目标文件的路径信息;第一计算单元,用于根据所述路径信息,计算所述待定位目标文件的特征值;第一确定单元,用于根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间;第二确定单元,用于根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点;第一判断单元,用于判断所述第一集群节点是否正常通信;以及第三确定单元,用于在判断出所述第一集群节点正常通信的情况下,确定所述待定位目标文件存储在所述第一集群节点上。7.根据权利要求6所述的装置,其特征在于,所述装置包括:第一更新单元,用于更新所述集群节点中正常通信节点的取值区间;第二计算单元,用于对所述特征值进行取整计算;第一获取单元,用于获取经过取整计算后所述特征值所处的取值区间;以及第四确定单元,用于确定所述待定位目标文件存储在第二集群节点上,其中,
\t所述第二集群节点为取整计算后所...

【专利技术属性】
技术研发人员:管超
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1