并行读cache持久化方法、装置、设备及存储介质制造方法及图纸

技术编号:40949577 阅读:13 留言:0更新日期:2024-04-18 20:24
本发明专利技术公开了一种并行读cache持久化方法、装置、设备及存储介质,所述方法通过将cache盘划分成多个分区,每个分区对应一个缓存层vCache,每个vCache对应一块机械硬盘HDD盘,每个vCache对应独立的线程;获取IO数据的并行处理vCache,根据并行处理vCache对待处理数据进行并行处理;对IO数据进行热点识别,通过固态硬盘SSD持久化模块将热点数据在磁盘进行持久化存储;提升了读cache并行程度,提高了存储性能,简化cache持久的逻辑,保证了读cache缓存的数据的落盘,以及在掉电后仍然能够通过遍历的方式加载cache元数据信息,提高了并行读cache持久化的速度和效率。

【技术实现步骤摘要】

本专利技术涉及数据存储,尤其涉及一种并行读cache持久化方法、装置、设备及存储介质


技术介绍

1、在以硬盘有机械硬盘(hard disk drive,hdd)为主存的存储系统中,不管是集中式存储系统、还是分布式存储系统,用非易失性内存主机控制器接口规范(non volatilememory express,nvme)或者固态硬盘(solid state disk,ssd)作为读cache都是业界公认的特性,通过将热点数据缓存到nvme或者ssd中,可以保证热点数据直接在高速盘中获取到,而不用去更低速的机械盘,保证更低的输入/输出(input/output,io)时延,从而得到更高的性能。

2、读cache的设计会包含热点和淘汰算法设计、内存结构体设计、cache落盘等设计;业界现有的cache的空间管理,往往是针对整块盘进行管理,申请释放空间都在同一个分配器中进行,这往往需要加锁,并行化程度较低,往往影响性能;其次,在读cache的实现中,当节点掉电之后,需要重新加载cache,这往往需要很复杂的处理流程。

/>

技术本文档来自技高网...

【技术保护点】

1.一种并行读cache持久化方法,其特征在于,所述并行读cache持久化方法包括:

2.如权利要求1所述的并行读cache持久化方法,其特征在于,所述获取IO数据的并行处理vCache,根据所述并行处理vCache对所述IO数据中的待处理数据进行并行处理,包括:

3.如权利要求2所述的并行读cache持久化方法,其特征在于,所述根据所述并行处理vCache对所述IO数据中的待处理数据进行并行处理,包括:

4.如权利要求3所述的并行读cache持久化方法,其特征在于,所述获取所述IO数据中的待处理数据对应的对象,根据所述对象的接口接收的数据处理指令之前...

【技术特征摘要】

1.一种并行读cache持久化方法,其特征在于,所述并行读cache持久化方法包括:

2.如权利要求1所述的并行读cache持久化方法,其特征在于,所述获取io数据的并行处理vcache,根据所述并行处理vcache对所述io数据中的待处理数据进行并行处理,包括:

3.如权利要求2所述的并行读cache持久化方法,其特征在于,所述根据所述并行处理vcache对所述io数据中的待处理数据进行并行处理,包括:

4.如权利要求3所述的并行读cache持久化方法,其特征在于,所述获取所述io数据中的待处理数据对应的对象,根据所述对象的接口接收的数据处理指令之前,所述并行读cache持久化方法还包括:

5.如权利要求1所述的并行读cache持久化方法,其特征在于,所述将cache盘划分成多个分区,每个分区对应一个缓存层vcache,每个vcache对应一块机械硬盘hdd盘,每个vcache对应独立的线程之前,所述并行读cache持久化方法还包括:

6.如权利要求5所述的并行读cach...

【专利技术属性】
技术研发人员:马宁
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1