一种基于云对象存储的内存和磁盘混合缓存方法技术

本发明专利技术公开了一种基于云对象存储的内存和磁盘混合缓存方法，其特点是内存缓存和磁盘缓存对应的缓存存储粒度和结构的设计，基于自适应的阈值限制的LRU缓存策略的改进，通过混合缓存对存放在云对象存储上的数据进行缓存，并利用缓存对云对象存储上的数据进行高效的数据访问。本发明专利技术与现有技术相比具有优先选择收益更高的数据块放入缓存，大大提升了缓存命中率，利用缓存极大的减少了查询云对象存储上数据的时间，减少了访问云对象存储的次数，节省更多数据访问时间，方法简便，使用效果好，具有广泛应用的前景。有广泛应用的前景。有广泛应用的前景。

【技术实现步骤摘要】
一种基于云对象存储的内存和磁盘混合缓存方法


[0001]本专利技术涉及数据存储
，尤其是一种面向OLAP负载的基于云对象存储的内存和磁盘混合缓存方法。

技术介绍

[0002]云对象存储（Cloud Object Storage）作为存储系统已经被广泛应用于各种大型数据仓库和数据湖中。云对象存储提供类似于KV系统的简洁接口，支持的操作有PUT、GET和DELETE等，其特点是仅支持对数据对象进行追加写入，而不能对已经写入的部分进行修改。大部分云服务提供商都提供了对象存储服务，比如有亚马逊网络服务S3、Microsoft Azure Blob存储、阿里云的OSS以及腾讯云的COS等，这些对象存储服务都支持S3协议。云对象存储有着成本低廉，可扩展性强，存储资源随用随付的优点。但是，由于数据获取依赖于网络传输，它的延迟要比本地磁盘高很多，要利用本地内存和磁盘来加速对云对象存储上数据的获取。
[0003]在多层次存储架构上，系统一般都利用缓存或者分层策略来提升整体的性能。在分层策略中，需要将冷热数据分层存储，并根据负载来动态地迁移冷热数据。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云对象存储的内存和磁盘混合缓存方法，其特征在于，采用内存与磁盘中缓存存储粒度的混合缓存架构设计，以及基于自适应阈值限制的LRU缓存方法，对存放在云对象存储上的数据进行混合缓存，并通过对LRU阈值的限制，优先存放数据量更小的数据项，从而达到更高的缓存命中率，利用混合缓存适应OLAP负载下列存数据库对云对象存储上高效的数据访问。2. 根据权利要求1所述基于云对象存储的内存和磁盘混合缓存方法，其特征在于所述内存与磁盘中缓存存储粒度的混合缓存架构设计的存储层是一个DRAM/SSD/Cloud Object Storage的三层存储结构，云对象存储作为存储层，原始的数据文件存放在云对象存储上，内存和磁盘作为缓存数据文件的性能层，混合缓存架构的具体设计包括：A1：内存缓存的缓存内容存储在内存中，由双向链表和哈希表实现LRU，所述内存缓存的存储粒度为数据文件的一个区间；A2：将缓存文件存放在指定缓存目录下，重启后数据库会查找缓存目录，将磁盘缓存的一些元信息读入内存，所述磁盘缓存由双向链表和哈希表组成，其存储粒度为数据文件的一个区间；A3：根据数据访问的顺序对数据文件进行内存缓存和磁盘缓存的缓存项划分。3.根据权利要求1所述基于云对象存储的内存和磁盘混合缓存方法，其特征在于，所述基于自适应阈值限制的LRU缓存方法具体包括：B1：当访问数据范围小于内存缓存阈值时，数据被存入内存缓存；如大于内存缓存阈值，数据不被保留在内存；B2：当访问数据范围小于磁盘缓存阈值时，数据被作为单独的磁盘文件存储在本地磁盘；如大于磁盘缓存阈值，数据不被存储在本地磁盘中；B3：根据负载的变化实时动态调整内存缓存阈值和磁盘缓存阈值，当...

【专利技术属性】
技术研发人员：胡卉芪，李雪莲，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：