分布式存储数据读写方法、装置、设备、介质及程序产品制造方法及图纸

技术编号:44967279 阅读:18 留言:0更新日期:2025-04-12 01:39
本发明专利技术涉及存储技术领域,公开了一种分布式存储数据读写方法、装置、设备、介质及程序产品,方法包括:获取分布式集群信息;根据分布式集群信息生成每个存储池对应的数据块分布视图,数据块分布视图包括多个保护组,每个保护组包括对应的磁盘信息;根据接收到的业务数据查询数据块分布视图,确定每个数据块分布的保护组,以进行数据读操作或写操作。本发明专利技术没有各种分区的复杂概念和多个分区的DHT计算,在视图中抽象出保护组的概念,提前做好映射,通过查表取代运算,在超高性能场景下计算资源占用更少,软件栈时延更低。

【技术实现步骤摘要】

本专利技术涉及存储,具体涉及一种分布式存储数据读写方法、装置、设备、介质及程序产品


技术介绍

1、分布式存储是一种数据存储技术,是将数据分散存储在多个节点上,每个节点可以是计算机、服务器或其他存储设备。数据在存储时通常被分割成多个块或对象,并分布在不同的存储节点上,每个节点都能够独立地进行数据的存储和访问操作。

2、现在分布式存储技术广泛的应用于传统数据中心、公有云数据中心、私有云数据中心和超融合工作站产品中。其中分布式存储引擎为分布式存储提供高性能、高可靠且高效的数据访问能力,是分布式存储的核心组件。

3、目前,分布式存储引擎有多种实现方案,比如google对外公开分布式存储引擎的gfs(google file system,简称gfs),该引擎可以提供追加写的文件系统。gfs由统一的master管理文件到空间的映射元数据,chunk信息在启动时由master到具体的chunk服务器上查询,master管理整个集群的chunk信息,集群变大时管理整个集群的chunk信息,不仅占用master资源且响应慢。p>

4、另外一本文档来自技高网...

【技术保护点】

1.一种分布式存储数据读写方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据接收到的业务数据查询所述数据块分布视图,确定每个数据块分布的保护组,以进行数据写操作,包括:

3.根据权利要求1所述的方法,其特征在于,在至少一个磁盘出现故障的情况下,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,在不存在所述权威集合的情况下,选择所述保护组中的所有分片进行数据恢复。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,在根据接收到的业务数据...

【技术特征摘要】

1.一种分布式存储数据读写方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据接收到的业务数据查询所述数据块分布视图,确定每个数据块分布的保护组,以进行数据写操作,包括:

3.根据权利要求1所述的方法,其特征在于,在至少一个磁盘出现故障的情况下,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,在不存在所述权威集合的情况下,选择所述保护组中的所有分片进行数据恢复。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权...

【专利技术属性】
技术研发人员:代怀刚张宗全刘啸滨白杨王达林陈阳
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1