System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种在线快速删除Ceph存储空间的方法及装置制造方法及图纸_技高网

一种在线快速删除Ceph存储空间的方法及装置制造方法及图纸

技术编号:40421892 阅读:5 留言:0更新日期:2024-02-20 22:41
本申请提供了一种在线快速删除Ceph存储空间的方法和装置,通过结合Ceph RGW的对象数据的存储机制,绕开元数据的访问热点的问题,进行分步删除存储空间数据,既可以实现快速删除海量对象,回收存储空间的效果,又能保证在线业务的稳定运行,相较于普通的删除存储空间方法在效率上有10倍以上的提升。

【技术实现步骤摘要】

本申请实施例涉及但不限于分布式存储,特别是涉及一种在线快速删除ceph存储空间的方法及装置。


技术介绍

1、ceph作为一种常见的分布式存储系统可以结合对象存储网关(rgw)提供对象存储服务,用户通过在rgw上创建存储空间(bucket)来访问对象存储的资源。通常来说,一个存储集群为不同的用户提供存储空间,这些存储空间共用硬件资源。目前,对于快速删除海量对象回收存储空间有多种方法,例如,给删除操作预留较多的硬件资源,减少存储集群的读写请求,该方法十分影响在线业务的服务质量。另一种办法是重建存储空间所在的存储池,但是建立在该存储池上的其他存储空间的数据也会被抹除。如何在保证业务正常在线运行的情况下快速删除存有海量对象的存储空间,这已成为亟需解决的技术问题。


技术实现思路

1、针对现有技术中存在的上述问题,本专利技术提出一种在不对在线业务服务质量造成显著影响的情况下,快速删除rgw上具有海量对象的存储空间的办法。本申请所采用的技术方案如下:

2、一种在线快速删除ceph存储空间的方法,该方法包括:

3、步骤1、分离存储空间中索引对象和对象数据的关联关系;

4、步骤2、删除存储空间中的全部对象数据;

5、步骤3、获取存储空间中的全部索引对象列表;

6、步骤4、删除存储空间的全部索引对象;

7、步骤5、对象存储网关完成存储空间的删除工作。

8、进一步的,在步骤1中,删除对象数据时不删除索引对象上的索引记录。

9、进一步的,在步骤2中,向对象存储网关发送请求,所述对象存储网关根据请求中携带的信息删除存储空间中的相应的全部对象数据。

10、进一步的,在步骤3中,根据存储空间的标识查询并获取存储空间中的全部索引对象列表。

11、进一步的,在步骤4中,根据所述索引对象列表,删除存储空间的全部索引对象。

12、进一步的,所述存储空间的对象数据分为两部分,一部分是存储在各个对象存储设备osd上记录对自身内容的数据;另一部分是在存储空间索引对象上记录该对象索引的数据;索引对象存储在元数据池相关的osd上。

13、进一步的,在步骤1中,分离存储空间中索引对象和对象数据的关联关系,包括:修改存储空间的placement rule,将其index type改为indexless。

14、进一步的,在步骤2中,删除存储空间中的全部对象数据,包括:对存储空间中的全部索引对象不进行加锁操作,以提升删除对象的并发量,删除全部对象数据的数据部分。

15、一种在线快速删除ceph存储空间的装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。

16、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行上述方法。

17、通过本申请实施例,可以获得如下技术效果:

18、本申请相对于现有技术而言,在删除具有海量对象的存储空间场景下,克服了现有删除存储空间方法在删除海量对象的情况下由于频繁修改对象索引记录存在性能瓶颈导致效率低下的问题,以及解决了由于频繁访问索引对象元数据池从而影响在线业务服务质量的问题。

19、本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

本文档来自技高网...

【技术保护点】

1.一种在线快速删除Ceph存储空间的方法,其特征在于,该方法包括:

2.根据权利要求1所述的方法,其特征在于,在步骤1中,删除对象数据时不删除索引对象上的索引记录。

3.根据权利要求1所述的方法,其特征在于,在步骤2中,向对象存储网关发送请求,所述对象存储网关根据请求中携带的信息删除存储空间中的相应的全部对象数据。

4.根据权利要求1所述的方法,其特征在于,在步骤3中,根据存储空间的标识查询并获取存储空间中的全部索引对象列表。

5.根据权利要求1所述的方法,其特征在于,在步骤4中,根据所述索引对象列表,删除存储空间的全部索引对象。

6.根据权利要求1所述的方法,其特征在于,所述存储空间的对象数据分为两部分,一部分是存储在各个对象存储设备OSD上记录对自身内容的数据;另一部分是在存储空间索引对象上记录该对象索引的数据;

7.根据权利要求1或2所述的方法,其特征在于,在步骤1中,分离存储空间中索引对象和对象数据的关联关系,包括:修改存储空间的placement rule,将其index type改为indexless。

8.根据权利要求1所述的方法,其特征在于,在步骤2中,删除存储空间中的全部对象数据,包括:对存储空间中的全部索引对象不进行加锁操作,以提升删除对象的并发量,删除全部对象数据的数据部分。

9.一种在线快速删除Ceph存储空间的装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行如权利要求1至8任意一项所述的方法。

...

【技术特征摘要】

1.一种在线快速删除ceph存储空间的方法,其特征在于,该方法包括:

2.根据权利要求1所述的方法,其特征在于,在步骤1中,删除对象数据时不删除索引对象上的索引记录。

3.根据权利要求1所述的方法,其特征在于,在步骤2中,向对象存储网关发送请求,所述对象存储网关根据请求中携带的信息删除存储空间中的相应的全部对象数据。

4.根据权利要求1所述的方法,其特征在于,在步骤3中,根据存储空间的标识查询并获取存储空间中的全部索引对象列表。

5.根据权利要求1所述的方法,其特征在于,在步骤4中,根据所述索引对象列表,删除存储空间的全部索引对象。

6.根据权利要求1所述的方法,其特征在于,所述存储空间的对象数据分为两部分,一部分是存储在各个对象存储设备osd上记录对自身内容的数据;另一部分是在存储空间索引对象上记录该对象索引...

【专利技术属性】
技术研发人员:刘百川谭伟杰
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1