一种对象存储热点数据的缓存方法、装置、设备及介质制造方法及图纸

技术编号:40949166 阅读:20 留言:0更新日期:2024-04-18 20:23
本发明专利技术属于分布式存储技术领域,具体涉及一种对象存储热点数据的缓存方法、装置、设备及介质,该缓存方法包括以下步骤:对热点数据中的元数据进行分类,并根据元数据的类型分别进行缓存;获取用户业务请求,判断用户类型是否为缓存用户;响应于所述用户为缓存用户,判断所述业务请求是否为GET请求;响应于所述业务请求为GET请求,根据所述业务请求,判断对应的元数据是否有效。本发明专利技术通过根据热点数据中的元数据的大小进行分类缓存,通过SSD缓存和内存缓存相结合的方式,降低了大文件元数据的缓存频率,通过对元数据进行数据分流和调度管理,降低了缓存成本、网络传输带宽压力和带宽消耗,提升了热点数据的读取效率和存储系统的稳定性。

【技术实现步骤摘要】

本专利技术属于分布式存储,具体涉及一种对象存储热点数据的缓存方法、装置、设备及介质


技术介绍

1、随着互联网技术的飞速发展,数据量的增长速度已经远远超出了人们的想象数据已经成为企业和个人的重要资产,为了更好地管理和利用这些数据,分布式对象存储系统应运而生,分布式对象存储系统是一种将数据分布在多个服务器上,实现高可用、高性能和可扩展性的存储解决方案,然而,随着数据量的不断增长,分布式对象存储系统面临着许多挑战,其中之一就是热点数据的处理问题。

2、热点数据是指在一段时间内被频繁访问的数据。在分布式对象存储系统中,热点数据通常会导致存储服务器的负载不均衡,从而影响整个系统的性能。为了解决这个问题,研究人员提出了许多方法,如数据分片、数据复制和缓存等。然而,这些方法在一定程度上解决了热点数据的问题,但仍然存在一些局限性。

3、首先,数据分片虽然可以在一定程度上实现负载均衡,但当热点数据分布在不同的分片上时,客户端需要通过网络进行跨节点数据访问,给后端网络协议栈上的处理带来很大的压力,仍然会导致某些分片的负载过高,当出现流量高峰时,需要更本文档来自技高网...

【技术保护点】

1.一种对象存储热点数据的缓存方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种对象存储热点数据的缓存方法,其特征在于:所述Stp1中,对热点数据中的元数据进行分类,并根据元数据的类型分别进行缓存,其步骤如下:

3.根据权利要求1所述的一种对象存储热点数据的缓存方法,其特征在于:所述Stp2中,响应于所述用户为非缓存用户,存储系统将热点数据传输给用户,并对热点数据中的元数据进行分类缓存,同时,标定用户为缓存用户。

4.根据权利要求1所述的一种对象存储热点数据的缓存方法,其特征在于:所述Stp3中,响应于所述业务请求为POST请求或PUT请求...

【技术特征摘要】

1.一种对象存储热点数据的缓存方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种对象存储热点数据的缓存方法,其特征在于:所述stp1中,对热点数据中的元数据进行分类,并根据元数据的类型分别进行缓存,其步骤如下:

3.根据权利要求1所述的一种对象存储热点数据的缓存方法,其特征在于:所述stp2中,响应于所述用户为非缓存用户,存储系统将热点数据传输给用户,并对热点数据中的元数据进行分类缓存,同时,标定用户为缓存用户。

4.根据权利要求1所述的一种对象存储热点数据的缓存方法,其特征在于:所述stp3中,响应于所述业务请求为post请求或put请求或delete请求,对所述热点数据中的元数据进行更新,其步骤如下:

5.根据权利要求4所述的一种对象存储热点数据的缓存方法,其特征在于:响应于所述业务请求为post请求或put请求或delete请求,并从存储系统对热点数据进行元数据更新的过程中,为元数据设置不可用标记,更新完毕后,移除不可用标记。

6.根据权利要求4所述的一种...

【专利技术属性】
技术研发人员:孔令升刘汪洋
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1