System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据管理方法、装置、系统、服务器及存储介质制造方法及图纸_技高网

数据管理方法、装置、系统、服务器及存储介质制造方法及图纸

技术编号:40146618 阅读:7 留言:0更新日期:2024-01-24 00:26
本发明专利技术涉及数据存储技术领域,提供了一种数据管理方法、装置、系统、服务器及存储介质,该方法通过服务器根据待存储数据的存储期限创建存储桶,以及在存储桶中创建文件卷,并将客户端上传的待存储数据存储至文件卷中;其中,存储桶为多个文件卷的集合,多个文件卷的存储期限相同或处于同一时间范围;按照预设的查询规则查询所述存储桶,存储桶中每个文件卷对应的文件卷属性信息包括存储期限;根据文件卷属性信息将存储桶中的文件卷进行删除,相比于现有技术中遍历单个文件,对过期的文件进行单个删除,本方案能够提升文件查询的效率,降低文件删除的复杂度,提升数据管理效率。

【技术实现步骤摘要】

本专利技术涉及数据存储,尤其是涉及一种数据管理方法、装置、系统、服务器及存储介质


技术介绍

1、在现有分布式对象存储系统中,服务器需要每天遍历存储的文件,并根据文件的上传时间以及当前时间的差值来确定是否删除这些对象。遍历对象是一个非常消耗cpu、输入输出接口io和内存的操作,也会影响对象存储的查询和存取效率。并且当存储桶的生命周期设置为较长的到期时间时,每天都需要遍历桶内的对象,包含了大量无效操作。目前的ttl(time to live)处理方式会给服务器带来较大的压力,尤其在包含大量文件时,可能会出现一些文件因为没有及时被遍历到而未被删除的问题,此外,存储系统中会删除ttl过期的数据,而留下ttl未过期的数据,这会造成数据的碎片化,碎片化会造成存储资源的浪费,并且严重影响查询的效率。


技术实现思路

1、本申请实施例提供了一种数据管理方法、装置、系统、服务器及存储介质,能够降低文件删除的复杂度,提升数据管理效率。

2、本申请实施例第一方面提供了一种数据管理方法,该方法包括:

3、根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,并将客户端上传的待存储数据存储至所述文件卷中;其中,所述存储桶为多个文件卷的集合,多个所述文件卷的存储期限相同或处于同一时间范围;

4、按照预设的查询规则查询所述存储桶,所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限;

5、根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。p>

6、本申请实施例第二方面提供了一种数据管理装置,所述数据管理装置包括:

7、创建模块,用于根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,并将客户端上传的待存储数据存储至所述文件卷中;其中,所述存储桶为多个文件卷的集合,多个所述文件卷的存储期限相同或处于同一时间范围;

8、查询模块,用于按照预设的查询规则查询所述存储桶,所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限;

9、删除模块,用于根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。

10、本申请实施例第三方面提供了一种数据管理系统,所述系统包括客户端和服务器;其中,

11、所述客户端,用于向所述服务器发送文件上传请求,所述文件上传请求包括待存储数据的存储期限;

12、所述服务器用于,根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,并将客户端上传的待存储数据存储至所述文件卷中;其中,所述存储桶为多个文件卷的集合,多个所述文件卷的存储期限相同或处于同一时间范围;

13、按照预设的查询规则查询所述存储桶,所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限;

14、根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。

15、本申请实施例第四方面提供了一种服务器,所述服务器包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现第一方面所述方法的步骤。

16、第五方面,本申请实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质用于存储计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。

17、第六方面,本申请实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

18、实施本申请实施例,具有如下有益效果:

19、可以看出,通过本申请实施例所描述的数据管理方法、装置、系统、服务器及存储介质,通过根据待存储数据的存储期限创建存储桶,以及在存储桶中创建文件卷,并将客户端上传的待存储数据存储至文件卷中;其中,存储桶为多个文件卷的集合,多个文件卷的存储期限相同或处于同一时间范围;按照预设的查询规则查询所述存储桶,存储桶中每个文件卷对应的文件卷属性信息包括存储期限;根据文件卷属性信息将存储桶中的文件卷进行删除,通过本方案的存储桶和文件卷的创建方式,可以在同一个存储桶中创建存储期限相同或处于同一时间范围的多个文件卷,使得存储桶中的文件卷的过期时间相同或相近,进而可以根据包括文件卷属性信息对存储桶中过期的文件卷进行删除,相比于现有技术中遍历单个文件,对过期的文件进行单个删除,本方案不会造成数据的碎片化,查询效率更高,能够提升文件查询的效率,降低文件删除的复杂度,提升数据管理效率。

本文档来自技高网...

【技术保护点】

1.一种数据管理方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据管理方法,其特征在于,所述根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,包括:

3.如权利要求2所述的数据管理方法,其特征在于,所述方法还包括:

4.如权利要求3所述的数据管理方法,其特征在于,所述方法还包括:

5.如权利要求3或4所述的数据管理方法,其特征在于,所述将客户端上传的待存储数据存储至所述文件卷中,包括:

6.如权利要求5所述的数据管理方法,其特征在于,多个所述文件卷的存储期限相同,所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除,包括:

7.如权利要求5所述的数据管理方法,其特征在于,多个所述文件卷的存储期限处于同一时间范围,所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除,包括:

8.一种数据管理装置,其特征在于,所述装置包括:

9.一种数据管理系统,其特征在于,所述系统包括客户端和服务器;其中,

10.一种服务器,其特征在于,所述服务器包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现权利要求1至7中任一项所述方法的步骤。

11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述数据管理方法的步骤。

...

【技术特征摘要】

1.一种数据管理方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据管理方法,其特征在于,所述根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,包括:

3.如权利要求2所述的数据管理方法,其特征在于,所述方法还包括:

4.如权利要求3所述的数据管理方法,其特征在于,所述方法还包括:

5.如权利要求3或4所述的数据管理方法,其特征在于,所述将客户端上传的待存储数据存储至所述文件卷中,包括:

6.如权利要求5所述的数据管理方法,其特征在于,多个所述文件卷的存储期限相同,所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除,包括:

7.如权利要求5...

【专利技术属性】
技术研发人员:甄磊
申请(专利权)人:镕铭微电子济南有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1