System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 分布式存储系统及其数据写入、读取和擦除方法技术方案_技高网

分布式存储系统及其数据写入、读取和擦除方法技术方案

技术编号:40364514 阅读:5 留言:0更新日期:2024-02-20 22:12
本申请涉及分布式存储领域,公开了一种分布式存储系统及其数据写入、读取和擦除方法,可以大幅提高分布式存储系统存储空间的利用率。该分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为M个数据段,该存储器的实际容量被划分为N个数据段,该存储器有N个保存逻辑地址与物理地址映射关系的L2P表,N个L2P表分别对应该存储器的实际容量的N个数据段,M>N>1。

【技术实现步骤摘要】

本申请涉及分布式存储领域,特别涉及分布式存储系统的数据写入、读取和擦除技术。


技术介绍

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是已被公开的现有技术。

2、图1展示了大规模分布式存储系统的上层架构,该存储系统管理着大量的ssd(固态硬盘)集群,为大量用户提供灵活可靠的存储服务。当用户向存储系统申请一块存储空间,存储系统就从ssd集群中分配相应的一段存储空间给到该用户。

3、该存储系统中用户的一个使用特点是用户往往不会百分百使用申请的存储空间,而且通常的实际使用率可能非常低,甚至会小于百分之十,这种情况下就会导致现有的分布式存储系统的存储空间被严重浪费。


技术实现思路

1、本申请的目的在于提供一种分布式存储系统及其数据写入、读取和擦除方法,可以大幅提高分布式存储系统存储空间的利用率。

2、本申请公开了一种分布式存储系统的数据写入方法,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为m个数据段,该存储器的实际容量被划分为n个数据段,该存储器有n个保存逻辑地址与物理地址映射关系的l2p表,n个所述l2p表分别对应该存储器的实际容量的n个数据段,m>n>1;所述方法包括:

3、根据待写入数据的逻辑区块地址确定该数据所属的数据段;

4、根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,其中,所述第一映射关系记录了数据段到l2p表的映射关系;

5、将所述待写入数据写入存储器的物理页中,并将被写入的物理页的信息更新到所述待写入的l2p表。

6、在一个优选例中,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,进一步包括:

7、如果所述数据所属的数据段记录在所述第一映射关系中,则确定所述第一映射关系中所述数据所属的数据段所对应的l2p表,将该l2p表作为所述待写入的l2p表。

8、在一个优选例中,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,进一步包括:

9、如果所述数据所属的数据段未记录在所述第一映射关系中,则分配一个空闲的l2p表作为所述待写入的l2p表,并将所述数据所属的数据段到所述空闲的l2p表的映射关系记录在所述第一映射关系中。

10、在一个优选例中,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,进一步包括:

11、如果所述数据所属的数据段未记录在所述第一映射关系中,并且当前存储器不存在空闲的l2p表,则将所述数据写入所述分布式存储系统的其他存储器中。

12、本申请还公开了一种分布式存储系统的数据读取方法,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为m个数据段,该存储器的实际容量被划分为n个数据段,该存储器有n个保存逻辑地址与物理地址映射关系的l2p表,n个所述l2p表分别对应该存储器的实际容量的n个数据段,m>n>1;所述方法包括:

13、根据待读取数据的逻辑区块地址确定该数据所属的数据段;

14、根据所述数据所属的数据段查询第一映射关系,以确定待读取的l2p表,其中,所述第一映射关系记录了数据段到l2p表的映射关系;

15、从所述待读取的l2p表获取所述待读取数据对应的物理页地址,并根据该物理页地址从存储器读取数据。

16、在一个优选例中,所述根据所述数据所属的数据段查询第一映射关系,以确定待读取的l2p表,进一步包括:

17、如果所述第一映射关系中存在所述数据所属的数据段,则将所述第一映射关系中与所述数据所属的数据段对应的l2p表确定为待读取的l2p表,否则返回表示存储器中不存在所述待读取数据的信息。

18、本申请还公开了一种分布式存储系统的数据擦除方法,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为m个数据段,该存储器的实际容量被划分为n个数据段,该存储器有n个保存逻辑地址与物理地址映射关系的l2p表,n个所述l2p表分别对应该存储器的实际容量的n个数据段,m>n>1;所述方法包括:

19、根据待擦除数据的逻辑区块地址确定该数据所属的数据段;

20、根据所述数据所属的数据段查询第一映射关系,以确定待擦除的l2p表,其中,所述第一映射关系记录了数据段到l2p表的映射关系;

21、将所述待擦除的l2p表中与所述待擦除数据对应的物理页信息擦除。

22、在一个优选例中,还包括:

23、检查所述待擦除的l2p表中是否所有物理页的信息都为空值,如果是则从所述第一映射关系中删除包含该待擦除的l2p表的映射关系,将该待擦除的l2p表设定为空闲的l2p表。

24、本申请还公开了一种分布式存储系统,包括:

25、多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为m个数据段,该存储器的实际容量被划分为n个数据段,该存储器有n个保存逻辑地址与物理地址映射关系的l2p表,n个所述l2p表分别对应该存储器的实际容量的n个数据段,m>n>1;

26、用于存储第一映射关系的存储器,所述第一映射关系记录了数据段到l2p表的映射关系;

27、控制装置,被配置为执行如前文描述的方法。

28、在一个优选例中,所述第一映射关系的实现方式是以下之一:

29、哈希表,位图,树,线性表。

30、本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。

31、本申请的实施方式在不改变分布式存储系统的前提下,使得ssd集群的物理利用率显著提出,理论上可以达到百分百利用率。

32、上述
技术实现思路
中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案(这些技术方案均应该视为在本说明书中已经记载),除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征a+b+c,在另一个例子中公开了特征a+b+d+e,而特征c和d是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征e技术上可以与特征c相组合,则,a+b+c+d的方案因技术不可行而应当不被视为已经记载,而a+b+c+e的方案应当视为已经被记载。

本文档来自技高网...

【技术保护点】

1.一种分布式存储系统的数据写入方法,其特征在于,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为M个数据段,该存储器的实际容量被划分为N个数据段,该存储器有N个保存逻辑地址与物理地址映射关系的L2P表,N个所述L2P表分别对应该存储器的实际容量的N个数据段,M>N>1;所述方法包括:

2.如权利要求1所述的分布式存储系统的数据写入方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的L2P表,进一步包括:

3.如权利要求1所述的分布式存储系统的数据写入方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的L2P表,进一步包括:

4.如权利要求1所述的分布式存储系统的数据写入方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的L2P表,进一步包括:

5.一种分布式存储系统的数据读取方法,其特征在于,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为M个数据段,该存储器的实际容量被划分为N个数据段,该存储器有N个保存逻辑地址与物理地址映射关系的L2P表,N个所述L2P表分别对应该存储器的实际容量的N个数据段,M>N>1;所述方法包括:

6.如权利要求5所述的分布式存储系统的数据读取方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待读取的L2P表,进一步包括:

7.一种分布式存储系统的数据擦除方法,其特征在于,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为M个数据段,该存储器的实际容量被划分为N个数据段,该存储器有N个保存逻辑地址与物理地址映射关系的L2P表,N个所述L2P表分别对应该存储器的实际容量的N个数据段,M>N>1;所述方法包括:

8.如权利要求7所述的分布式存储系统的数据擦除方法,其特征在于,还包括:

9.一种分布式存储系统,其特征在于,包括:

10.如权利要求9所述的分布式存储系统,其特征在于,所述第一映射关系的实现方式是以下之一:

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现如权利要求1至8中任意一项所述的方法中的步骤。

...

【技术特征摘要】

1.一种分布式存储系统的数据写入方法,其特征在于,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为m个数据段,该存储器的实际容量被划分为n个数据段,该存储器有n个保存逻辑地址与物理地址映射关系的l2p表,n个所述l2p表分别对应该存储器的实际容量的n个数据段,m>n>1;所述方法包括:

2.如权利要求1所述的分布式存储系统的数据写入方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,进一步包括:

3.如权利要求1所述的分布式存储系统的数据写入方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,进一步包括:

4.如权利要求1所述的分布式存储系统的数据写入方法,其特征在于,所述根据所述数据所属的数据段查询第一映射关系,以确定待写入的l2p表,进一步包括:

5.一种分布式存储系统的数据读取方法,其特征在于,所述分布式存储系统包括多个存储器,其中至少一个存储器的报告容量大于该存储器的实际物理容量,该存储器的报告容量被划分为m个数据段,该存储器的实际容量被划分为n个数据段,该存储器有n个保存逻辑地...

【专利技术属性】
技术研发人员:朱文禧杨国华许毅
申请(专利权)人:苏州库瀚信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1