一种存储集群中分级缓存读写数据的方法技术

本发明专利技术公开一种存储集群中分级缓存读写数据的方法，涉及云计算技术领域，其实现基于后端存储集群、第一级缓存、第二级缓存、api网关、日志文件系统和应用程序，后端存储集群管理原始数据，第一级缓存存储热点数据，并将热点数据划分为不同的pool，第二级缓存将pool数据按照索引抽成段后保存，api网关统一处理请求。应用程序发起读请求时，api网关处理请求并发布到第二级缓存中，第二级缓存查找相关段并定位到pool，或者，没有找到相关段，进一步向第一级缓存发起缺段请求，仍无法找到相关信息后，继续到后端存储集群查找；应用程序发起写请求时，api网关处理请求并写入日志文件系统，等事务完成时再Flush进后端存储集群。本发明专利技术能够大幅降低延时。能够大幅降低延时。能够大幅降低延时。

【技术实现步骤摘要】
一种存储集群中分级缓存读写数据的方法


[0001]本专利技术涉及云计算存储
，具体的说是一种存储集群中分级缓存读写数据的方法。

技术介绍

[0002]在云计算环境中，通常存储集群会为计算集群和控制节点提供所有的存储服务，这些存储集群中的数据有时候会非常无序且海量，当管理或租户侧程序发起数据请求时(如创建指定镜像规格的虚拟机或者调取指定节点的监控数据抑或请求文件流服务)，每次都会与后端主存储节点交互，后端主存储节点通常采用SATA Cluster，在高并发I/O情况下，这些SATA Cluster在读写速度并不高，会影响整个云管理操作的性能。

技术实现思路

[0003]本专利技术针对目前技术发展的需求和不足之处，提供一种存储集群中分级缓存读写数据的方法，以大幅降低延时，提升云管理的性能体验。
[0004]本专利技术的一种存储集群中分级缓存读写数据的方法，解决上述技术问题采用的技术方案如下：
[0005]一种存储集群中分级缓存读写数据的方法，其实现基于后端存储集群、第一级缓存、第二级缓存、api网关、日志文件系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储集群中分级缓存读写数据的方法，其特征在于,其实现基于后端存储集群、第一级缓存、第二级缓存、api网关、日志文件系统和应用程序，其中：后端存储集群管理原始数据，第一级缓存存储动态变化的热点数据，并依据进程的pid和业务属性将热点数据划分为不同的pool，pool内以对象为单位存储，第二级缓存将第一级缓存的pool数据按照索引抽成段Segment，进而以段Segment的形式保存，api网关作为所有请求的流量入口，统一处理请求、合并相同的请求数据，日志文件系统存储写请求发生时的数据；在应用程序发起读请求时，api网关统一处理收到的请求并发布到第二级缓存中，第二级缓存根据请求查找段Segment，找到相关段Segment后，定位到第一级缓存的pool，或者，没有找到相关段Segment，进一步向第一级缓存发起缺段请求，在第一级缓存中仍无法找到相关信息后，继续到后端存储集群查找；在应用程序发起写请求时，api网关统一处理收到的请求并采用WAL方式写入日志文件系统，等事务完成时再Flush进后端存储集群。2.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第一级缓存中定义有第一后台线程，在pool的存储空间不够时，第一后台线程选择pool内的脏对象并刷到后端存储集群，或者/同时，第一后台线程剔除第一级缓存的clean对象，以释放更多的存储空间。3.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第二级缓存中定义有第二后台线程，第二后台线程用于定时清理第二级缓存的脏数据。4.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在于，第二级缓存将pool数据按照索引抽成的段Segment只存储pool数据的索引和地址；每个段Segment具有动态可变的长度，每个段Segment的长度基于第二级缓存的闪存空间进行自由调度。5.根据权利要求1所述的一种存储集群中分级缓存读写数据的方法，其特征在...

【专利技术属性】
技术研发人员：齐光鹏，窦洋，张明哲，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：