一种基于缓存梯度冷热数据分层机制的键值存储系统及方法技术方案

本发明专利技术公开一种基于缓存梯度冷热数据分层机制的键值存储系统及方法，系统包括内存组件、设备组件和磁盘组件，方法为：过滤器筛选Key分流冷热数据；热数据进入热缓存模块，冷数据进入冷缓存模块；热缓存模块淘汰过时数据进入冷缓存模块，冷数据达到数量后进入GPUsort组件排序同时备份到GPU缓存区组件，冷数据经GPUsort组件排序存储到磁盘组件，同时，对磁盘文件热度值总和小于预定值的文件向系统下层迁移，大于预定值的文件向系统上层迁移。本发明专利技术优化了内存组件，增加了梯度分级的冷热数据机制，替换了内存数据结构，优化了内存缓存数据的读写机制，设置了“热数据上涌”机制，能够用更好、更准确的缓存策略对读写进行优化。更准确的缓存策略对读写进行优化。更准确的缓存策略对读写进行优化。

【技术实现步骤摘要】
一种基于缓存梯度冷热数据分层机制的键值存储系统及方法


[0001]本专利技术涉及数据存储
，尤其涉及一种基于缓存梯度冷热数据分层机制的键值存储系统及方法。

技术介绍

[0002]NoSQL伴随着超大规模并发的需求而诞生的非关系型数据库，而键值对(Key
‑
Value)存储数据库是可以应对分布式大规模数据的高效管理方案，由于磁盘I/O的开销是数据库效率瓶颈之一，因此产生了很多减少磁盘I/O的方案；LSM树就是为了解决频繁磁盘读写的方案之一，日志结构的合并树(LSM
‑
tree)是一种基于缓存梯度冷热数据分层机制的键值存储系统及方法，基于LSM
‑
tree结构的分布式键值对存储数据库成为工业界主流数据库方案，如经典的KV数据库LevelDB，多重优化的多线程数据库RocksDB，基于键值分离的WiscKey，基于分区思想的PebblesDB等。LSM
‑
Tree的本质是基于不在原地更新(out
‑
placeupdate)策略，数据更新操作直接将新值追加到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于缓存梯度冷热数据分层机制的键值存储系统，其特征在于：所述系统包括有序分层Key
‑
Value数据的内存组件、设备组件和磁盘组件，所述内存组件包括级联BloomFilter模块、冷HashTable缓存模块和热HashTable缓存模块，所述设备组件包括GPUsort组件、GPU缓存区组件和驱动模块；所述级联BloomFilter模块用于精确筛选Key
‑
Value中的Key，分流热数据和冷数据；所述冷HashTable缓存模块和热HashTable缓存模块分别用于缓存热数据和冷数据；所述GPUsort组件用于对进入GPUsort组件的冷数据进行排序；所述GPU缓存区组件用于对进入GPUsort组件进行排序的冷数据进行备份；所述驱动模块用于协调内存组件调用GPUsort组件。2.一种基于缓存梯度冷热数据分层机制的键值存储方法，其特征在于：所述方法应用于基于缓存梯度冷热数据分层机制的键值存储系统，所述方法包括以下工作步骤：S1、级联循环BloomFilter精确筛选Key
‑
Value中的Key，分流热数据和冷数据；S2、所述热数据进入热HashTable缓存模块，所述冷数据进入冷HashTable缓存模块；S3、所述冷HashTable缓存模块内的冷数据积达到设定数量后进入GPUsort组件进行排序，所述冷数据积达到设定数量后同时备份到GPU缓存区组件；S4、所述冷数据经GPUsort组件排序后存储到磁盘组件。3.根据权利要求2所述的一种基于缓存梯度冷热数据分层机制的键值存储方法，其特征在于：所述级联循环BloomFilter为三层级联循环。4.根据权利要求3所述的一种基于缓存梯度冷热数据分层机制的键值存储方法，其特征在于：所述三层级联循环BloomFilter精确筛选Key步骤包括：S11、第一层BloomFilter筛选Key，如果当前Key不存在，那么则加入，Key热度值设置为0，如果Key存在；S12、查找第二层BloomFilter，如果第二层BloomFilter不存在Key，则直接插入Key，并将Key热度值设置为1，如果Key存在；S13、查找第三层BloomFilter，如果第三层BloomFilter不存在Key，则插入Key，设置Key热度值为3，如果Key依然存在；S14、Key热度值直接设...

【专利技术属性】
技术研发人员：孙辉，徐金峰，
申请(专利权)人：安徽大学，
类型：发明
国别省市：