分布式存储空间回收方法和系统、电子设备、存储介质技术方案

技术编号:40939712 阅读:27 留言:0更新日期:2024-04-18 14:57
本发明专利技术提供一种分布式存储空间回收方法和系统、电子设备、存储介质,该方法包括:将新存储的数据采用多副本模式存储至相应的数据文件中;记录访问时间戳和/或标记删除;当任一数据文件中冷数据和/或删除数据达到预设比例,则对达到预设比例的数据文件进行自动纠删处理操作,并记录首次纠删的数据文件与各个第一纠删数据文件的对应关系;当首次纠删文件满足第一预设条件,则对首次纠删文件进行再次纠删处理操作,并记录再次纠删的数据文件与各个第二纠删数据文件的对应关系;进而在保证数据高可用性和高可靠性、不增加存储成本的前提下,解决冷数据、删除数据空间利用率低的问题,提高存储空间利用率,让数据的存储更加高效和简洁。

【技术实现步骤摘要】

本专利技术属于数据存储,更具体的说,尤其涉及一种分布式存储空间回收方法和系统、电子设备、存储介质


技术介绍

1、分布式对象存储系统中存储的海量数据在访问频率上具备差异,访问频率较高的数据应该具备更高的数据持久性和服务可用性,而访问频率较低的数据在保证数据可靠性的前提下应该尽可能压缩存储成本。而且分布式对象存储系统中新增对象,追加写在磁盘文件尾部;删除数据时只对数据做删除标记,不在物理磁盘中删除,这也浪费了大量的磁盘空间。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种分布式存储空间回收方法和系统、电子设备、存储介质,用于解决冷数据、删除数据空间利用率低的问题,提高存储空间利用率,让数据的存储更加高效和简洁。

2、本申请第一方面公开了一种分布式存储空间回收方法,包括:

3、将新存储的数据视为热数据,并采用多副本模式存储至相应的数据文件中;

4、在读和删除各个所述数据文件的对象数据的过程中,分别在各个所述数据文件的索引文件中记录访问时间戳和/或标记删除;

...

【技术保护点】

1.一种分布式存储空间回收方法,其特征在于,包括:

2.根据权利要求1所述的分布式存储空间回收方法,其特征在于,所述若任一所述数据文件中冷数据和/或删除数据达到预设比例,则对达到预设比例的数据文件进行自动纠删处理操作,以使清除所述达到预设比例的数据文件中的删除数据,并将未删除数据中的热数据采用多副本模式存储至首次纠删的数据文件中,未删除数据中的冷数据采用纠删码模式存储至多个第一纠删数据文件,并记录所述首次纠删的数据文件与各个所述第一纠删数据文件的对应关系,包括:

3.根据权利要求2所述的分布式存储空间回收方法,其特征在于,将所述待处理数据中的热数据采用多副本模式存...

【技术特征摘要】

1.一种分布式存储空间回收方法,其特征在于,包括:

2.根据权利要求1所述的分布式存储空间回收方法,其特征在于,所述若任一所述数据文件中冷数据和/或删除数据达到预设比例,则对达到预设比例的数据文件进行自动纠删处理操作,以使清除所述达到预设比例的数据文件中的删除数据,并将未删除数据中的热数据采用多副本模式存储至首次纠删的数据文件中,未删除数据中的冷数据采用纠删码模式存储至多个第一纠删数据文件,并记录所述首次纠删的数据文件与各个所述第一纠删数据文件的对应关系,包括:

3.根据权利要求2所述的分布式存储空间回收方法,其特征在于,将所述待处理数据中的热数据采用多副本模式存储至首次纠删的数据文件中,包括:

4.根据权利要求2所述的分布式存储空间回收方法,其特征在于,所述对所述待处理数据中的冷数据采用纠删码算...

【专利技术属性】
技术研发人员:王丹李源
申请(专利权)人:北京搜狐新媒体信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1