一种高性能分布式块存储系统和管理方法技术方案

本发明专利技术公开了一种高性能分布式块存储系统和管理方法，采用线性索引表的方式进行高性能的数据寻址与管理，数据存储节点包括用于存储虚拟磁盘信息和第一类索引表，第一类索引表用于存储虚拟磁盘的逻辑块对应数据区的存储位置；虚拟磁盘被客户端打开的时候从各个数据存储节点的磁盘中读出第一类索引表发送给客户端进行汇总得到第二类索引表，客户端在I/O寻址的时候只需要在内存中进行一次线性寻址即能索引到数据的具体位置；本发明专利技术提出的高性能分布式块存储系统和管理方法，在物理磁盘上共用元数据降低了元数据的数量，采用线性索引的方式降低了虚拟磁盘的寻址时间，使用一致性哈希算法把虚拟磁盘的数据均衡的分配到每一个磁盘，避免了数据过热。避免了数据过热。避免了数据过热。

【技术实现步骤摘要】
一种高性能分布式块存储系统和管理方法


[0001]本专利技术涉及分布式存储领域，尤其是一种高性能的分布式块存储系统和管理方法。

技术介绍

[0002]目前有很多开源的分布式存储软件，比如GlusterFS、Sheepdog，这些存储软件绝大部分都采用Linux自带的文件系统作为数据存储的后端，比如xfs、ext4这样的文件系统。也有像Ceph的BlueStore重新写了一套存储后端，绕开了文件系统直接读写物理磁盘。然而它们都是采用把一个大的虚拟磁盘拆分固定大小的对象，然后把对象分布式的存放到存储集群的各个物理磁盘中。它们都不是为块存储专门设计的，所以在块存储的场景下都有一些缺陷导致无法提供更高的性能： 1、两次寻址：如图1所示，在读写虚拟磁盘的时候要进行两次寻址。首先是在客户端使用Crush算法或者查表的方式找出对象存放的主机磁盘，第二次是在数据存储端使用对象名称与偏移来寻址出对象数据具体存放在磁盘的哪一个位置。
[0003]2、元数据量过大：为了兼顾对象存储Bluestore或者是其他的文件系统都会把存储单元拆分的很小（文件系统一般是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高性能分布式块存储系统，至少包括一个客户端节点和若干与客户端节点耦接的数据存储节点，所述数据存储节点用于存储一个或多个虚拟磁盘的逻辑块，其特征在于：每个数据存储节点至少包括虚拟磁盘元数据区和用于存储数据的数据区，所述虚拟磁盘元数据区至少用于存储虚拟磁盘信息和第一类索引表，所述第一类索引表用于存储虚拟磁盘的逻辑块对应数据区的存储位置；所述客户端节点至少配置有基于汇总第一类索引表得到对应某一虚拟磁盘的第二类索引表，所述第二类索引表还包括与之对应的虚拟磁盘的逻辑块对应的数据存储节点，磁盘编号，以及，逻辑块在磁盘中的地址。2.根据权利要求1所述的高性能分布式块存储系统，其特征在于，所述数据存储节点还包括用于保存数据区的数据块分配情况的磁盘分配表，以及，用于保存存储系统参数信息的磁盘格式信息区。3.根据权利要求1所述的高性能分布式块存储系统，其特征在于，所述第一类索引表和第二类索引表分别包括若干级索引表，第一级索引表存储基于预设分配块大小分配的索引地址，上一级索引表存储下一级索引表起始地址，最后一级索引表用于存储的逻辑块的存储位置。4.一种高性能分布式块存储管理方法，应用于权利要求1
‑
3任一项所述的高性能分布式块存储系统，其特征在于，包括客户端节点基于第二类索引表进行数据寻址，具体包括，通过客户端节点请求打开某一虚拟磁盘，则对应某一虚拟磁盘的所有数据存储节点发送第一类索引表至客户端节点；所述客户端节点基于接收到的所有第一类索引表汇总得到第二类索引表；客户端节点基于第二类索引表进行虚拟磁盘I/O寻址。5.根据权利要求4所述的高性能分布式块存储管理方法，其特征在于，还包括，客户端节点基于第二类索引表进行虚拟磁盘I/O寻址从而写虚拟磁盘，具体包括：客户...

【专利技术属性】
技术研发人员：张吉祥，梁世龙，王鑫，
申请(专利权)人：杭州优云科技有限公司，
类型：发明
国别省市：