一种存储对象的处理方法、装置、终端及存储介质制造方法及图纸

本申请适用于对象存储技术领域，提供一种存储对象的处理方法、装置、终端及存储介质，其中方法包括：获取大对象队列中各个大对象的对象名，基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果；判断结果用于指示是否执行过期文件清除操作。该方案能够提升数据处理效率，确保分布式存储集群的数据处理性能。理性能。理性能。

【技术实现步骤摘要】
一种存储对象的处理方法、装置、终端及存储介质


[0001]本申请属于对象存储
，尤其涉及一种存储对象的处理方法、装置、终端及存储介质。

技术介绍

[0002]近年来，分布式存储的诞生使得云存储技术得到广泛应用。其中应用到对象存储，具体需要通过对象存储网关上传的数据以对象的形式存储在分布式存储集群中。为了节约存储成本，对象存储网关的生命周期流程提供一种自动化删除过期对象的方式，使得存储集群能够定期释放存储空间，满足持续写入的要求。
[0003]但随着数据规模的扩大，海量小文件形成的需要存储的小对象将造成分布式存储性能下降。为解决海量小对象存储，业界往往采取小对象合并的方式，将多个小对象合并成一个大对象进行存储，使得小对象的元数据量大大减少，同时减少频繁的磁盘输入输出，从而提高整体存储的性能。
[0004]随着小对象合并的进行，在对数以万计的小对象进行过期判断及删除时，需要分别对大对象中的各个小对象进行列举遍历，实现对小对象进行有效性判断，将过期存储对象进行有效剔除。但该过程中，对海量小对象逐一进行过期判断，导致数据处理效率低下，也会伴随大量的无用列举，极大降低分布式存储集群的数据处理性能。

技术实现思路

[0005]本申请实施例提供了一种存储对象的处理方法、装置、终端及存储介质，以解决现有技术中对海量小对象逐一进行过期判断，导致数据处理效率低下，也会伴随大量的无用列举，极大降低分布式存储集群的数据处理性能的问题。
[0006]本申请实施例的第一方面提供了一种存储对象的处理方法，包括：
[0007]获取大对象队列中各个大对象的对象名，所述对象名对应于大对象的编号，各个所述大对象之间的编号依照时序排列；
[0008]基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；其中，每一所述大对象的所述元数据中均包括起始时间及末尾时间，所述起始时间对应于首个小对象的写入时间，所述末尾时间对应于末个小对象的写入时间；
[0009]获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；
[0010]基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果；所述判断结果用于指示是否执行过期文件清除操作。
[0011]本申请实施例的第二方面提供了一种存储对象的处理装置，包括：
[0012]第一获取模块，用于获取大对象队列中各个大对象的对象名，所述对象名对应于
大对象的编号，各个所述大对象之间的编号依照时序排列；
[0013]第二获取模块，用于基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；其中，每一所述大对象的所述元数据中均包括起始时间及末尾时间，所述起始时间对应于首个小对象的写入时间，所述末尾时间对应于末个小对象的写入时间；
[0014]第二获取模块，用于获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；
[0015]判断模块，用于基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果；所述判断结果用于指示是否执行过期文件清除操作。
[0016]本申请实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
[0017]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
[0018]本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行上述第一方面所述方法的步骤。
[0019]由上可见，本申请实施例中，通过获取编号依照时间排序的大对象的对象名，依序对大对象队列中大对象的元数据进行访问，基于设定文件过期时间与当前大对象中首个小对象的写入时间及最后一个小对象的写入时间之间的早晚关系，实现对大对象整体进行过期判断，减少海量小对象的无用列举，并且同时利用不同大对象之间编号的时序排列关系，实现对于当前大对象具有时序排列关系的其他大对象进行相应的过期判断，减少其他大对象的无用列举，在不增加额外开销的情况下，实现小对象的过期清除，提升数据处理效率，确保分布式存储集群的数据处理性能。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的一种存储对象的处理方法的流程图一；
[0022]图2是本申请实施例提供的一种存储对象的处理方法的流程图二；
[0023]图3是本申请实施例提供的管理对象示意图；
[0024]图4是本申请实施例提供的空洞处理示意图；
[0025]图5是本申请实施例提供的一种存储对象的处理装置的结构图；
[0026]图6是本申请实施例提供的一种终端的结构图。
具体实施方式
[0027]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0028]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0029]还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0030]还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0031]如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储对象的处理方法，其特征在于，包括：获取大对象队列中各个大对象的对象名，所述对象名对应于大对象的编号，各个所述大对象之间的编号依照时序排列；基于所述对象名，依序对所述大对象队列中大对象的元数据进行访问，并从第一大对象的所述元数据中获取第一起始时间及第一末尾时间；其中，每一所述大对象的所述元数据中均包括起始时间及末尾时间，所述起始时间对应于首个小对象的写入时间，所述末尾时间对应于末个小对象的写入时间；获取设定文件过期时间与所述第一起始时间及所述第一末尾时间之间的大小关系；基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果；所述判断结果用于指示是否执行过期文件清除操作。2.根据权利要求1所述的方法，其特征在于，所述获取大对象队列中各个大对象的对象名之前，还包括：基于待存储小对象，在查询到当前可用大对象已经写满时，基于所述当前可用大对象的编号，构建得到目标对象名；向对象集群申请所述目标对象名对应的目标大对象；所述目标对象名中包含所述目标大对象的编号，所述目标大对象的编号与所述当前可用大对象的编号依照时序排列；将所述小对象写入至所述目标大对象对应的存储空间中。3.根据权利要求1所述的方法，其特征在于，所述基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果，包括：若所述大小关系为所述设定文件过期时间早于所述第一起始时间，则判断所述第一大对象存储的小对象中不存在过期小对象；及，依据编号间的时序排列关系，获取编号所对应时间等于或晚于所述第一大对象的编号所对应时间的至少一个所述第二大对象；判断所述第二大对象中不存在所述过期小对象。4.根据权利要求1所述的方法，其特征在于，所述基于所述大小关系，判断所述第一大对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果，包括：若所述大小关系为所述设定文件过期时间处于所述第一起始时间与所述第一末尾时间对应的时间范围内，则依照小对象的写入顺序，依次判断所述第一大对象中小对象的写入时间是否晚于所述设定文件过期时间；在从所述第一大对象中确定出写入时间不晚于所述设定文件过期时间的第一小对象时，将所述第一小对象及所述第一大对象中写入时间早于所述第一小对象的第二小对象确定为过期小对象；及，依据编号间的时序排列关系，获取编号所对应时间早于所述第一大对象的编号所对应时间的至少一个所述第二大对象；判断所述第二大对象中的小对象均为过期小对象。5.根据权利要求1所述的方法，其特征在于，所述基于所述大小关系，判断所述第一大
对象存储的小对象中是否存在过期小对象及判断与所述第一大对象的编号具有时序排列关系的第二大对象中是否存在过期小对象，得到判断结果，包括：若所述大小关系为所述设定文件过期时间处于所述第一起始时间与所述第一末尾时间对应的时间范围内，则依照小...

【专利技术属性】
技术研发人员：黎淦文，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：