一种基于持久内存的LSM-tree键值存储系统技术方案

本发明专利技术公开了一种基于持久内存的LSM‑tree键值存储系统，包括：请求路由模块：将读写请求根据键值范围分发到存储设备正确的分片中；任务调度模块：管理后台任务队列，依据PMTables的重叠度选择合适的Compaction策略；垃圾回收模块：确定垃圾回收优先级；提示搜索模块：加速PMem/SSD数据查找速度。本发明专利技术动态选择Compaction策略，实现快速数据序列化操作，减少序列化开销，避免造成系统性能波动；动态触发垃圾回收，键值对粒度热数据上移，构建出低写入放大、高写入吞吐量、低读取延迟、低空间放大、崩溃后能够快速恢复的基于持久内存PMem的键值存储系统。

【技术实现步骤摘要】

本专利技术涉及持久内存pmem优化存储，尤其涉及一种基于持久内存的lsm-tree键值存储系统。

技术介绍

1、持久内存pmem作为一种新兴的存储解决方案，处于传统存储设备和dram之间的桥梁位置，持久内存pmem其最显著的特性是持久性，即数据在写入后即使在断电的情况下也不会丢失，它拥有比常规固态硬盘ssd更高的吞吐量和更低的延迟，然而与dram相比，pmem在性能上仍有差异。此外，pmem仍然存在最小写入单元限制(256字节)，这使得小于256字节的数据写入也需要与256字节对齐，从而产生写放大。

2、目前键值存储系统广泛使用日志结构合并树(lsm-tree)结构来实现数据的存储和管理，lsm-tree通过将内存中的随机写操作转换为磁盘上的顺序写操作，解决了内存与磁盘在随机写入性能方面的差距以及块设备处理小块数据写入的问题。lsm-tree结构采用写前日志(wal)机制来确保dram中的数据在系统故障情况下的可恢复性。此外，lsm-tree需要定期进行compaction操作以实现数据的逐步排序，优化读取性能，但这个过程会产生写放大。lsm-本文档来自技高网...

【技术保护点】

1.一种基于持久内存的LSM-tree键值存储系统，其特征在于，系统应用于存储设备，存储设备采用LSM-tree架构，存储设备包括内存DRAM、持久内存PMem和固态硬盘SSD；内存DRAM采用MemTable表，持久内存PMem采用PMTable表，固态硬盘SSD采用SSTable表，包括：

2.根据权利要求1所述的一种基于持久内存的LSM-tree键值存储系统，其特征在于，请求路由模块将读写请求分发到存储设备正确的分片中进行读写操作，包括：

3.根据权利要求2所述的一种基于持久内存的LSM-tree键值存储系统，其特征在于，负载偏斜的分片进行分裂作业包括：...

【技术特征摘要】

1.一种基于持久内存的lsm-tree键值存储系统，其特征在于，系统应用于存储设备，存储设备采用lsm-tree架构，存储设备包括内存dram、持久内存pmem和固态硬盘ssd；内存dram采用memtable表，持久内存pmem采用pmtable表，固态硬盘ssd采用sstable表，包括：

2.根据权利要求1所述的一种基于持久内存的lsm-tree键值存储系统，其特征在于，请求路由模块将读写请求分发到存储设备正确的分片中进行读写操作，包括：

3.根据权利要求2所述的一种基于持久内存的lsm-tree键值存储系统，其特征在于，负载偏斜的分片进行分裂作业包括：

4.根据权利要求1所述的一种基于持久内存的lsm-tree键值存储系统，其特征在于，任务调度模块：管理的后台任务队列包括memtable的刷新、sstable/pmtable的compaction操作和分片的分裂任务队列；

5.根据权...

【专利技术属性】
技术研发人员：孙辉，孔德闫，王亚轩，
申请(专利权)人：安徽大学，
类型：发明
国别省市：