System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据存储,尤其是涉及一种数据管理方法、装置、系统、服务器及存储介质。
技术介绍
1、在现有分布式对象存储系统中,服务器需要每天遍历存储的文件,并根据文件的上传时间以及当前时间的差值来确定是否删除这些对象。遍历对象是一个非常消耗cpu、输入输出接口io和内存的操作,也会影响对象存储的查询和存取效率。并且当存储桶的生命周期设置为较长的到期时间时,每天都需要遍历桶内的对象,包含了大量无效操作。目前的ttl(time to live)处理方式会给服务器带来较大的压力,尤其在包含大量文件时,可能会出现一些文件因为没有及时被遍历到而未被删除的问题,此外,存储系统中会删除ttl过期的数据,而留下ttl未过期的数据,这会造成数据的碎片化,碎片化会造成存储资源的浪费,并且严重影响查询的效率。
技术实现思路
1、本申请实施例提供了一种数据管理方法、装置、系统、服务器及存储介质,能够降低文件删除的复杂度,提升数据管理效率。
2、本申请实施例第一方面提供了一种数据管理方法,该方法包括:
3、根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,并将客户端上传的待存储数据存储至所述文件卷中;其中,所述存储桶为多个文件卷的集合,多个所述文件卷的存储期限相同或处于同一时间范围;
4、按照预设的查询规则查询所述存储桶,所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限;
5、根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
...【技术保护点】
1.一种数据管理方法,其特征在于,所述方法包括:
2.如权利要求1所述的数据管理方法,其特征在于,所述根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,包括:
3.如权利要求2所述的数据管理方法,其特征在于,所述方法还包括:
4.如权利要求3所述的数据管理方法,其特征在于,所述方法还包括:
5.如权利要求3或4所述的数据管理方法,其特征在于,所述将客户端上传的待存储数据存储至所述文件卷中,包括:
6.如权利要求5所述的数据管理方法,其特征在于,多个所述文件卷的存储期限相同,所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除,包括:
7.如权利要求5所述的数据管理方法,其特征在于,多个所述文件卷的存储期限处于同一时间范围,所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除,包括:
8.一种数据管理装置,其特征在于,所述装置包括:
9.一种数据管理系统,其特征在于,所述系统包括客户端和服务器;其中,
10.一种服务器,其特征在于,所述服务器包括存储器
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述数据管理方法的步骤。
...【技术特征摘要】
1.一种数据管理方法,其特征在于,所述方法包括:
2.如权利要求1所述的数据管理方法,其特征在于,所述根据待存储数据的存储期限创建存储桶,以及在所述存储桶中创建文件卷,包括:
3.如权利要求2所述的数据管理方法,其特征在于,所述方法还包括:
4.如权利要求3所述的数据管理方法,其特征在于,所述方法还包括:
5.如权利要求3或4所述的数据管理方法,其特征在于,所述将客户端上传的待存储数据存储至所述文件卷中,包括:
6.如权利要求5所述的数据管理方法,其特征在于,多个所述文件卷的存储期限相同,所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除,包括:
7.如权利要求5...
【专利技术属性】
技术研发人员:甄磊,
申请(专利权)人:镕铭微电子济南有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。