本发明专利技术公开了一种对象存储生命周期管理方法、管理装置、计算机设备及介质。该方法包括：创建桶并创建基于时间的桶索引分片策略；上传对象，查找最大桶索引分片号并记录对象信息，更新桶索引分片head上记录的最后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号；以及执行生命周期线程，根据生命周期规则计算需删除的对象，以删除符合时间要求的对象。该方法通过修改桶索引方式，即将一个桶索引上存储相近时间的对象的动态桶索引方案。同时在索引分片head中添加该索引上对象上传的时间范围。在生命周期线程执行时，可以精准的找到需要删除对象，减少不必要的对象遍历。历。历。
【技术实现步骤摘要】
对象存储生命周期管理方法、管理装置、设备及介质
[0001]本专利技术涉及计算机
，尤其涉及一种对象存储生命周期管理方法、管理装置、计算机设备及介质。
技术介绍
[0002]随着互联网的发展，互联网数据量(非结构化数据)越来越大，分布式对象存储应运而生。这种新兴的存储方式，适用于图片、视频等非结构化数据的存储。它同时又具有块存储高速直接访问磁盘的特点以及文件存储分布式共享的特点，因此一经推出就得到广泛的发展与应用。
[0003]桶生命周期。通过对桶内指定前缀或者标签的对象设置指定的到期规则，可以实现对桶内对象的自动到期删除操作。目前对象存储中设置对象到期删除或者转移时需要遍历桶内对象，然后对比对象的上次修改时间和当前时间，从而决定是否删除该对象。列举所有对象需要遍历桶索引池中该桶所有的索引分片中记录的对象，同时获取该对象的时间。目前方法中，当大量桶以及桶内对象较多时，需要遍历所有对象，严重占用集群性能且会出现对象遍历不到导致桶内对象无法及时删除的问题。
[0004]目前对象存储中，通过桶生命周期可以自动的删除桶内符合条件的对象。桶生命周期线程需要遍历桶内对象，对比对象修改时间和当前时间，决定是否删除该对象。对象上传需要在桶索引池子中的桶索引分片上通过键值对的方式记录该对象的信息。列举桶内对象时便是通过列举桶索引分片上的记录的对象。目前方法中一个桶默认128个桶索引分片，上传对象时根据对象名hash(哈希，一种散列函数)的方法将对象信息记录到对应分片上。这种方法必须列举桶所有索引分片上的对象，才能确定对象的修改时间。故本专利提出了一种基于时间的桶索引分片方法，从而使得桶生命周期线程在执行时可以直接从对应的分片上找到过期的对象，实现了一种高效的对象过期删除方案。
技术实现思路
[0005]有鉴于此，本专利技术实施例的目的在于提出一种对象存储生命周期管理方法。该方法通过修改桶索引方式，即将一个桶索引上存储相近时间的对象的动态桶索引方案。同时在索引分片head(头)中添加该索引上对象上传的时间范围。在生命周期线程执行时，可以精准的找到需要删除对象，减少不必要的对象遍历。
[0006]基于上述目的，本专利技术实施例的一方面提供了一种对象存储生命周期管理方法。所述方法包括：创建桶并创建基于时间的桶索引分片策略；上传对象，查找最大桶索引分片号并记录对象信息，更新桶索引分片head上记录的最后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号；以及执行生命周期线程，根据生命周期规则计算需删除的对象，以删除符合时间要求的对象。
[0007]在一些实施方式中，建桶并创建基于时间的桶索引分片策略包括：创建桶时先创建一个桶索引分片，桶索引分片命名为桶id(识别号)+分片号，桶索引分片的head中添加第
一字段和第二字段，第一字段记录存储的第一个对象的修改时间，第二字段记录存储的最后一个对象的修改时间。
[0008]在一些实施方式中，创建桶并创建基于时间的桶索引分片策略还包括：桶索引分片号从0开始编号，桶索引分片存储阈值个对象，当桶索引分片存储的对象个数超过阈值时创建新的桶索引分片且桶索引分片号递增。优选地，所述阈值为10万。
[0009]在一些实施方式中，上传对象，查找最大桶索引分片号并记录对象信息，更新桶索引分片head上记录的最后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号包括：对象写元数据时，查找最大桶索引分片号，并查看其对应的桶索引分片上记录的对象个数；若个数小于阈值，则将对象信息记录于最大桶索引分片号、更新最大桶索引分片的head上记录的后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号；若个数等于阈值，则创建新的桶索引分片号并重复个数小于阈值的步骤。
[0010]在一些实施方式中，上传对象还包括：若覆盖原对象信息，则查找所述对象信息所在的桶索引分片，并在所述桶索引分片上删除对象信息并在最大桶索引分片号对应的桶索引分片上记录所述对象信息。
[0011]在一些实施方式中，执行生命周期线程，根据生命周期规则计算需删除的对象，以删除符合时间要求的对象包括：执行生命周期线程，根据生命周期规则计算需删除的对象，遍历桶索引分片head上记录的最后上传对象时间以得到符合时间要求的桶索引分片，遍历符合时间要求的桶索引分片上记录的对象信息，以删除符合时间要求的对象。
[0012]在一些实施方式中，执行生命周期线程，根据生命周期规则计算需删除的对象，以删除符合时间要求的对象还包括：
[0013]遍历桶索引分片head上记录的对象个数；
[0014]判断相邻的桶索引分片中记录的对象的个数之和是否小于阈值；
[0015]若超过两个相邻的桶索引分片中记录的对象的个数之和小于阈值，则合并涉及的桶索引分片为一个桶索引分片、以最小桶索引分片号为新的桶索引分片号并修改后续的桶索引分片的桶索引分片号；
[0016]更新新的桶索引分片的head中记录的第一个对象的修改时间和最后一个对象的修改时间，同时更新桶元数据中记录的桶索引分片数。
[0017]本专利技术实施例的另一方面，还提供了一种对象存储生命周期管理装置。所述装置包括创建单元、对象上传单元和生命周期执行单元。创建单元，用于创建桶和桶索引分片策略；对象上传单元，用于上传和更改对象信息；生命周期执行单元，用于根据生命周期规则计算需删除的对象、删除符合时间要求的对象以及合并多个记录对象之和小于阈值的相邻桶索引分片。
[0018]在一些实施例中，创建单元创建桶时先创建一个桶索引分片，桶索引分片命名为桶id+分片号，桶索引分片的head中添加第一字段和第二字段，第一字段记录存储的第一个对象的修改时间，第二字段记录存储的最后一个对象的修改时间。
[0019]在一些实施例中，创建单元创建的桶索引分片号从0开始编号，桶索引分片存储阈值个对象，当桶索引分片存储的对象个数超过阈值时创建新的桶索引分片且桶索引分片号递增。
[0020]在一些实施例中，对象上传单元在对象写元数据时，查找最大桶索引分片号，并查
看其对应的桶索引分片上记录的对象个数；若个数小于阈值，则将对象信息记录于最大桶索引分片号、更新最大桶索引分片的head上记录的后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号；若个数等于阈值，则创建新的桶索引分片号并重复个数小于阈值的步骤。
[0021]在一些实施例中，对象上传单元上传对象时，若覆盖原对象信息，则查找所述对象信息所在的桶索引分片，并在所述桶索引分片上删除对象信息并在最大桶索引分片号对应的桶索引分片上记录所述对象信息。
[0022]在一些实施例中，生命周期执行单元执行生命周期线程，根据生命周期规则计算需删除的对象，遍历桶索引分片head上记录的最后上传对象时间以得到符合时间要求的桶索引分片，遍历符合时间要求的桶索引分片上记录的对象信息，以删除符合时间要求的对象。
[0023]在一些实施例中，生命周期执行单元遍历桶索引分本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种对象存储生命周期管理方法，其特征在于，包括：创建桶并创建基于时间的桶索引分片策略；上传对象，查找最大桶索引分片号并记录对象信息，更新桶索引分片head上记录的最后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号；以及执行生命周期线程，根据生命周期规则计算需删除的对象，以删除符合时间要求的对象。2.根据权利要求1所述的对象存储生命周期管理方法，其特征在于，创建桶并创建基于时间的桶索引分片策略包括：创建桶时先创建一个桶索引分片，桶索引分片命名为桶id+分片号，桶索引分片的head中添加第一字段和第二字段，第一字段记录存储的第一个对象的修改时间，第二字段记录存储的最后一个对象的修改时间。3.根据权利要求2所述的对象存储生命周期管理方法，其特征在于，创建桶并创建基于时间的桶索引分片策略还包括：桶索引分片号从0开始编号，桶索引分片存储阈值个对象，当桶索引分片存储的对象个数超过所述阈值时创建新的桶索引分片且桶索引分片号递增。4.根据权利要求1所述的对象存储生命周期管理方法，其特征在于，上传对象，查找最大桶索引分片号并记录对象信息，更新桶索引分片head上记录的最后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号包括：对象写元数据时，查找最大桶索引分片号，并查看其对应的桶索引分片上记录的对象个数；若个数小于阈值，则将对象信息记录于最大桶索引分片号、更新最大桶索引分片的head上记录的后上传对象时间，并在对象元数据中记录所述对象信息的桶索引分片号；若个数等于所述阈值，则创建新的桶索引分片号并重复个数小于阈值的步骤。5.根据权利要求4所述的对象存储生命周期管理方法，其特征在于，上传对象还包括：若覆盖原对象信息，则查找所述对象信息所在的桶索引分片，并在所述桶索引分片上删除对象信息并在最大桶索引分片号对应的桶索引分片上记录所述对象...
【专利技术属性】
技术研发人员：程晓煜，陶桐桐，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。