一种无中心的分布式存储方法及系统技术方案

技术编号:40187277 阅读:34 留言:0更新日期:2024-01-26 23:51
本发明专利技术提出一种无中心的分布式存储方法和系统,包括:获取包括n个存储节点的分布式存储系统,根据一致性哈希所有存储节点和键值K映射并以数轴的形式排列到哈希空间σ;n个节点将数轴划分为n+1个区间,根据数轴上n个节点之间的距离可以将数轴划分为n个节点对应的近邻空间;键值K对应的数据存储至距键值K哈希距离最短的存储节点。本发明专利技术的方法对于无中心分布式系统负载不均和查询性能低下的缺陷做出一定适应场景的优化,其意义不仅在于促进关于分布式存储的研究,为研究者们解决上述问题提供了新的思路,还有助于大数据计算、大数据分析等与分布式存储密切相关的实际场景应用的发展。

【技术实现步骤摘要】

本专利技术涉及无中心资源管理调度,并特别涉及一种无中心的分布式存储方法及系统


技术介绍

1、存储系统的发展经历了集中式的存储、中心化分布式存储、无中心分布式存储的阶段。

2、集中式的存储管理系统经过多年的发展,在业界应用已经相对成熟稳定。在数据量增速不明显的情况下,将所有数据集中地存放在一个系统中,此类系统包含多台集中管理的机器设备,其系统中物理设备是集中放置的,因此其对于机房的各种条件要求较高。随着全球的数据存储需求急剧上升,集中式存储不能完全覆盖个性化的海量数据存储的场景需求。

3、随着大数据时代的到来,存储系统的可扩展性及处理时效成为主要的技术发展趋势,中心控制的分布式存储系统gfs应运而生。分布式存储的主要思想是将所有数据分散地存放在多台机器上面,这样分散了存储的负荷,提高了系统的可用性、可靠性等。但是中心集中管控的分布式存储系统比如hadoop普遍存在单点故障、单点性能瓶颈或单点信任依赖的问题。即中心服务器的宕机会对整个存储系统的可用性及数据安全造成巨大的影响。

4、之后有研究者提出诸如dht框架、p2p协议本文档来自技高网...

【技术保护点】

1.一种无中心的分布式存储方法,其特征在于,包括:

2.如权利要求1所述的无中心的分布式存储方法,其特征在于,该分布式存储系统中一个存储节点p发起代表存储请求的键值k,存储节点p的路由表为R;对于存储节点p以及路由表R中任意存储节点x,计算存储节点x与存储请求k的哈希距离d;

3.如权利要求1所述的无中心的分布式存储方法,其特征在于,当该分布式存储系统中一个存储节点负载能力变为原来的m倍时,调整节点接受数据点的该近邻空间为原来的m倍。

4.如权利要求1所述的无中心的分布式存储方法,其特征在于,当该分布式存储系统中一个存储节点p接收代表查询请求的键值k之...

【技术特征摘要】

1.一种无中心的分布式存储方法,其特征在于,包括:

2.如权利要求1所述的无中心的分布式存储方法,其特征在于,该分布式存储系统中一个存储节点p发起代表存储请求的键值k,存储节点p的路由表为r;对于存储节点p以及路由表r中任意存储节点x,计算存储节点x与存储请求k的哈希距离d;

3.如权利要求1所述的无中心的分布式存储方法,其特征在于,当该分布式存储系统中一个存储节点负载能力变为原来的m倍时,调整节点接受数据点的该近邻空间为原来的m倍。

4.如权利要求1所述的无中心的分布式存储方法,其特征在于,当该分布式存储系统中一个存储节点p接收代表查询请求的键值k之后,若存储节点p本地存有键值k对应的数据,则返回该数据,否则计算存储节点p和其路由表r中各存储节点与键值k的哈希距离,哈希距离最近的节点q;

5.一种无中心的分布式存储系统,其特征在于,包括:

6.如权利要求5所述的...

【专利技术属性】
技术研发人员:于雷谢瑾亮邱强廖华明郭嘉丰程学旗
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1