分布式全闪对象存储系统的GC方法及电子设备、存储介质技术方案

本发明专利技术涉及分布式全闪对象存储系统的GC方法及电子设备、存储介质:包括：根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度,volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；执行GC迁移程序，查询数据库，获取GC实时程序统计的volume信息；根据volume信息迁移有效数据，释放分布式全闪对象存储系统空间。解决传统GC方法导致的SSD写放大、磨损不平衡问题；结合对象生命周期等策略，本发明专利技术能够有效规避删除数据时，产生过多对象碎片的问题。题。题。

【技术实现步骤摘要】
分布式全闪对象存储系统的GC方法及电子设备、存储介质


[0001]本专利技术涉及分布式全闪对象存储领域，尤其是涉及分布式全闪对象存储系统的GC方法及电子设备、存储介质。

技术介绍

[0002]在分布式全闪对象存储系统中，当存储容量不足，删除对象再写入时，写入速度会变慢。这与SSD的写放大有关。SSD将数据存储在固定大小的数据页中，多个数据页组合成数据块。SSD可以单独读取或写入数据页，但是只能按数据块擦除数据。当覆盖写入或空间不足时，SSD需要先将数据块中的有效数据写入到其他数据块，擦除数据块，然后才能将新数据写入。虽然SSD自带GC功能，但是当删除的对象碎片较多，会造成严重的SSD写放大，降低写入性能；当频繁覆盖写入时，会造成局部的磨损失衡，缩短SSD的使用寿命。
[0003]目前市面上的静态均衡技术可改善磨损失衡，专利号为CN101441599A公开了一种固态硬盘的均衡方法，将SSD所有的存储块分为多个组，根据各组的总擦写次数和每组中的空白块数目，从每组中获取空白块，当有新数据要存储时，SSD将数据直接存储到获取的空白块上，提高了数据的写入速度，提高了该SSD的工作效率，但这种方法的操作最小单位是SSD的block，在删除block内的数据时会产生很多对象碎片。
[0004]因此，针对上述问题本专利技术急需提供一种分布式全闪对象存储系统的GC方法及电子设备、存储介质。

技术实现思路

[0005]本专利技术的目的在于提供分布式全闪对象存储系统的GC方法及电子设备、存储介质，解决GC带来的SSD写放大、磨损不平衡的问题。
[0006]分布式全闪对象存储系统的GC方法，包括如下步骤：根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度,volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；执行GC迁移程序，查询数据库，获取GC实时程序统计的volume信息;根据volume信息迁移有效数据，释放分布式全闪对象存储系统空间。
[0007]优选的，写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中，包括，用户向多个s3server下发数据写入请求，所述数据写入请求中包含bucket信息；s3server接收写入请求，将写入请求下发到节点；每个节点为一个bucket分配多个volume，其中节点判断volume是否有空间；
若是，则将bucket与volume绑定，并在volume中写入数据；若否，则再分配另一个volume与bucket绑定，并在新分配的volume中写入数据。
[0008]优选的，s3server接受写入请求，将写入请求下发到节点，包括：每个s3server通过scheduler调度获取一个节点信息，scheduler按节点空间使用量将一个节点分配给一个s3server。
[0009]优选的，根据所有volume的数据删除量和擦写次数迁移有效数据，包括：优先将数据删除量大的volume中有效数据迁移写入到擦写次数小的volume中，将被迁移的volume中的所有数据擦除。
[0010]优选的，还包括判断volume的擦写次数是否大于保护阈值且小于最终阈值，若是，降低volume的写入和GC的频率；若否，在擦写次数小于保护阈值的情况下，则在volume中继续写入数据；在擦写次数大于最终阈值的情况下，则在volume中写入长期保留的数据。
[0011]优选的，若volume被GC迁移程序选中GC，则被迁移后的volume解除与对应的bucket的绑定，被解除绑定的volume重新被任意一个bucket绑定。
[0012]优选的，volume为分布式全闪对象储存系统的最小存储单元和GC擦除的最小单元。
[0013]优选的，执行GC迁移程序，查询数据库，获取GC实时程序统计的所有volume信息之前，还包括，执行GC扫描程序，查询数据库，扫描重名对象，保留最新重名对象，删除旧的重名对象，记录扫描进度。
[0014]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现分布式全闪对象存储系统的GC方法。
[0015]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现分布式全闪对象存储系统的GC方法。
[0016]本专利技术提供的一种分布式全闪对象存储系统的GC方法与现有技术相比具有以下进步：现有对象存储系统的GC方法一般依赖文件系统管理对象，无法控制SSD写入的数据块，只能由SSD的GC功能处理对象碎片，释放存储空间。在对象碎片过多的场景下，会有严重的写放大，降低SSD的写入性能；而且当文件系统频繁标记删除数据块，频繁覆盖写入时，会导致SSD出现局部的磨损失衡，降低SSD的使用寿命。
[0017]本专利技术不依赖文件系统，不由SSD的GC功能处理对象碎片，而是直接管理SSD块设备，将多个SSD合并为EC组储存在多个volume中，一个bucket中的数据按时间顺序聚合写入多个volume中，因为是按时间序大块写入的，当删除bucket中的数据或bucket中的数据的生命周期触发时，删除的对象所占用的空间基本是连续的，删除的对象也是大块删除的，不会产生很多对象碎片，降低了数据写放大，降低GC的数据迁移；根据volume的擦写次数统筹调度分配volume，实现全局磨损平衡，提高整个存储系统的使用寿命。
附图说明
[0018]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的
附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术公开的一种分布式全闪对象存储系统的GC方法步骤图;图2为本专利技术中公开的一种存储桶bucket绑定对应的多个存储单元volume的示意图。
实施方式
[0020]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式全闪对象存储系统的GC方法，其特征在于：包括如下步骤，根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度,所述volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；执行GC迁移程序，查询数据库，获取所述GC实时程序统计的所述volume信息;根据所述volume信息迁移有效数据，释放分布式全闪对象存储系统空间。2.根据权利要求1所述的分布式全闪对象存储系统的GC方法，其特征在于：写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中，包括，多个s3server接受数据写入请求，所述数据写入请求中包含bucket信息；s3server将所述数据写入请求下发到节点；每个节点根据所述数据写入请求的bucket信息为每一个bucket对应分配多个volume，其中所述节点判断所述volume是否有空间；若是，则将所述bucket与所述volume绑定，并在所述volume中写入数据；若否，则再分配另一个volume与所述bucket绑定，并在新分配的volume中写入数据。3.根据权利要求2所述的分布式全闪对象存储系统的GC方法，其特征在于：s3server接受所述写入请求，将所述写入请求下发到节点，包括：每个所述s3server通过scheduler调度获取一个所述节点信息，所述scheduler按所述节点空间使用量将一个所述节点分配给一个所述s3server。4.根据权利...

【专利技术属性】
技术研发人员：刘爱贵，王雅鹏，阮薛平，
申请(专利权)人：北京大道云行科技有限公司，
类型：发明
国别省市：