当前位置: 首页 > 专利查询>华侨大学专利>正文

分布式键值存储系统的存储节点层间合并方法及装置制造方法及图纸

技术编号:41900523 阅读:27 留言:0更新日期:2024-07-05 14:07
本发明专利技术公开了一种分布式键值存储系统的存储节点层间合并方法及装置,涉及数据存储领域,包括:当获取到分布式键值存储系统的层间合并的操作指令,则判断层间合并的类型;若层间合并的类型为跨层级的层间合并,则采用负载均衡策略确定待执行层间合并操作的存储节点,在待执行层间合并操作的存储节点上读取到需进行层间合并的键值文件数据并进行层间合并操作,当层间合并操作完成后,待执行层间合并操作的存储节点将执行结果返回给主节点,并更新分布式键值存储系统的元数据信息;若层间合并的类型为同层级的层间合并,则在主节点上执行层间合并操作,本发明专利技术解决现有层间合并操作数据传输量大,数据写入效率低等问题。

【技术实现步骤摘要】

本专利技术涉及数据存储领域,具体涉及一种分布式键值存储系统的存储节点层间合并方法及装置


技术介绍

1、在大数据时代,数据量呈现爆炸式增长,这给传统的单机存储系统带来了巨大的挑战。为了解决这一挑战,分布式存储系统应运而生。它将数据分散存储在多个节点上,并通过网络连接这些节点进行协作。相较于传统的单机存储系统,分布式存储系统具备更高的可扩展性、容错性和性能。随着数据规模的不断增长,分布式存储系统能够有效地应对数据管理和存储的需求,为企业和组织提供了更为灵活和可靠的数据存储解决方案。

2、分布式存储系统是由多个存储节点组成的复杂网络结构,这些节点可以分布在不同的物理位置或数据中心。每个节点承担着存储部分数据的责任,并通过网络连接与其他节点进行通信和数据交换。为确保数据的可靠性和可用性,分布式存储系统通常采用数据复制和容错机制。这样,即使某个节点发生故障,数据仍然可以安全地访问和使用。

3、设计和实现分布式存储系统涉及多个关键技术和概念。其中,数据分片、复制、一致性协议、故障检测与恢复等是至关重要的。一致性协议如paxos和raft,他们本文档来自技高网...

【技术保护点】

1.一种分布式键值存储系统的存储节点层间合并方法,所述分布式键值存储系统包括分布式文件系统,所述分布式文件系统包括一个主节点和若干存储节点,其特征在于,包括以下步骤:

2.根据权利要求1所述的分布式键值存储系统的存储节点层间合并方法,其特征在于,所述元数据信息包括键值文件数据的大小、名称、层级和数据存储位置,所述判断所述层间合并的类型,具体包括:

3.根据权利要求1所述的分布式键值存储系统的存储节点层间合并方法,其特征在于,所述采用负载均衡策略确定待执行层间合并操作的存储节点,具体包括:

4.根据权利要求1所述的分布式键值存储系统的存储节点层间合并方法...

【技术特征摘要】

1.一种分布式键值存储系统的存储节点层间合并方法,所述分布式键值存储系统包括分布式文件系统,所述分布式文件系统包括一个主节点和若干存储节点,其特征在于,包括以下步骤:

2.根据权利要求1所述的分布式键值存储系统的存储节点层间合并方法,其特征在于,所述元数据信息包括键值文件数据的大小、名称、层级和数据存储位置,所述判断所述层间合并的类型,具体包括:

3.根据权利要求1所述的分布式键值存储系统的存储节点层间合并方法,其特征在于,所述采用负载均衡策略确定待执行层间合并操作的存储节点,具体包括:

4.根据权利要求1所述的分布式键值存储系统的存储节点层间合并方法,其特征在于,所述主节点将所述需进行层间合并的键值文件数据所对应的存储节点中除所述待执行层间合并操作的存储节点以外的其它存储节点的元数据信息传输至所述待执行层间合并操作的存储节点,并在所述待执行层间合并操作的存储节点上读取到所述需进行层间合并的键值文件数据,具体包括:

5.一种基于分布式键值存储系统...

【专利技术属性】
技术研发人员:潘玉彪黄伟斌黄飞雄张惠臻
申请(专利权)人:华侨大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1