【技术实现步骤摘要】
基于SSD的支持高效存储空间管理的键值分离存储方法
本专利技术属于计算机存储系统，具体涉及基于SSD的支持高效存储空间管理的键值分离存储方法。
技术介绍
持久键值存储在现代数据密集型存储系统和应用中起着至关重要的作用，例如消息传递、电子商务、搜索索引和广告等。日志结构合并树(Log-structuredmergetree,LSM-tree)是1996年提出的一种基于磁盘的写优化的数据结构，通过将随机写转换成顺序写来获取可观的写性能，并通过保证磁盘内数据有序来提供可靠的查询性能，目前是主流的持久化键值存储采用的数据结构之一。自2006年Google发表分布式键值存储系统Bigtable的论文，并在后续开源了单机键值存储引擎LevelDB之后，Facebook基于LevelDB进行优化，提出了开源单机键值存储引擎RocksDB，Hadoop生态系统中也基于Bigtable开源实现了HBase。基于LSM-tree的键值存储系统整体由内存组件和磁盘组件两部分构成，两个部件内数据都是有序的。写入的数据先缓存在内存组件中，当内...
【技术保护点】
1.一种基于SSD的支持高效存储空间管理的键值分离存储方法，其特征在于，包括：将值存储空间划分为等长的段，构建段管理器以管理所有数据段的失效和有效状态，为每个段建立值存储失效偏移集和键存储失效偏移集，值存储空间存在三种类型的段，分别为：满失效段、部分失效段和有效段，所述满失效段表示段内所有数据都为无效数据；所述部分失效段表示段内部分数据为无效数据；所述有效段表示段内所有数据均为有效数据；/n进行可用段缓存和半失效段缓存，所述可用段缓存用于缓存所述满失效段的起始偏移量和所述被动垃圾回收后已经回收空间的段的起始偏移量，所述半失效段缓存用于缓存失效数据的数量占段内数据总量一半及以...
【技术特征摘要】
1.一种基于SSD的支持高效存储空间管理的键值分离存储方法，其特征在于，包括：将值存储空间划分为等长的段，构建段管理器以管理所有数据段的失效和有效状态，为每个段建立值存储失效偏移集和键存储失效偏移集，值存储空间存在三种类型的段，分别为：满失效段、部分失效段和有效段，所述满失效段表示段内所有数据都为无效数据；所述部分失效段表示段内部分数据为无效数据；所述有效段表示段内所有数据均为有效数据；
进行可用段缓存和半失效段缓存，所述可用段缓存用于缓存所述满失效段的起始偏移量和所述被动垃圾回收后已经回收空间的段的起始偏移量，所述半失效段缓存用于缓存失效数据的数量占段内数据总量一半及以上的所述部分失效段，所述值存储偏移有效位图用于标记值存储内数据段中数据的有效性；所述键存储偏移有效位图用于标记被动垃圾回收后，数据段原先标记为有效数据的位置，在采集键存储内丢弃的失效偏移时判断是否为已回收位置。
2.如权利要求1所述的基于SSD的支持高效存储空间管理的键值分离存储方法，其特征在于，段大小与文件系统的页大小对齐，并且大于单个键值对大小。
3.如权利要求1所述的基于SSD的支持高效存储空间管理的键值分离存储方法，其特征在于，对于失效偏移，从键存储的压缩操作中不断地采集值存储中失效数据的偏移量。
4.如权利要求1所述的基于SSD的支持高效存储空间管理的键值分离存储方法，其特征在于，根据段状态和值存储空间使用状态，分为主动垃圾回收和被动垃圾回收；
所述主动垃圾回收包括：当将缓存中的数据刷入SSD时，如果存在所述满失效段，则将缓存中的数据写入到所述满失效段中；
所述被动垃圾回收包括：当值存储空间用完后，触发空间回收操作，选取批量数据段，通过将段中的键和偏移量与键存储中的键值对进行匹配来判断数据的有效性，丢弃失效数据，将有效数据重写入值存储中，并将重写数据的键和新的偏移写入键存储中，将回...
【专利技术属性】
技术研发人员：王冲，刘莉，张扬，周可，牛中盈，滕海，李春花，张洲，王颖，
申请(专利权)人：北京计算机技术及应用研究所，航天科工网络信息发展有限公司，华中科技大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。