一种数据处理方法和装置制造方法及图纸

本申请公开了一种数据处理方法和装置，多个数据大小不超过第一阈值的元对象聚合得到第一条带对象，在存在元对象删除时，可以获取一级位图信息；根据所述一级位图信息确定二级位图信息，所述二级位图信息记录了第一条带对象中每个元对象的状态信息；根据所述二级位图信息中的状态信息，确定所述第一条带对象中每个元对象的有效性；根据每个元对象的有效性对所述第一条带对象进行处理。这样，便可以根据聚合后第一条带对象中每个元对象的有效性，对无效数据进行垃圾回收处理或碎片整理，以提高存储空间有效利用率，大大降低存储空间的浪费。费。费。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本申请涉及数据处理领域，特别是涉及一种数据处理方法和装置。

技术介绍

[0002]当前的分布式对象存储系统中，针对普通海量小对象已经实现了小对象聚合的功能，把多个小对象聚合为一个大对象，减少了Rados的对象数量，可以大大加快集群的重构速度，并提高系统的性能。
[0003]但是当前小对象聚合功能并不支持对无效聚合数据的垃圾回收，造成很大的存储空间浪费。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种数据处理方法和装置，可以根据聚合后第一条带对象中每个元对象的有效性，对无效数据进行垃圾回收处理或碎片整理，以提高存储空间有效利用率，大大降低存储空间的浪费。
[0005]本申请实施例公开了如下技术方案：
[0006]第一方面，本申请实施例提供了一种数据处理方法，多个数据大小不超过第一阈值的元对象聚合得到第一条带对象，所述方法包括：
[0007]获取一级位图信息；
[0008]根据所述一级位图信息确定二级位图信息，所述二级位图信息记录了第一条带对象中每个元对象的状态信息；
[0009]根据所述二级位图信息中的状态信息，确定所述第一条带对象中每个元对象的有效性；
[0010]根据每个元对象的有效性对所述第一条带对象进行处理。
[0011]可选的，所述根据每个元对象的有效性对所述第一条带对象进行处理，包括：
[0012]根据每个元对象的有效性，对所述第一条带对象上有效数据和/或无效数据的长度进行统计；
[0013]若根据所述有效数据和/或无效数据的长度确定所述第一条带对象全部无效，对所述第一条带对象进行垃圾回收处理。
[0014]可选的，所述方法还包括：
[0015]若根据所述有效数据和/或无效数据的长度确定所述第一条带对象部分无效，确定无效数据的长度占所述第一条带对象的总长度的比例；
[0016]若所述比例超出第二阈值，对所述第一条带对象进行碎片整理；
[0017]若所述比例小于所述第二阈值，不对所述第一条带对象进行处理。
[0018]可选的，所述对所述第一条带对象进行碎片整理，包括：
[0019]若第二条带对象上无效数据的长度占所述第二条带对象的总长度的比例超出所述第二阈值，且所述第二条带对象上的元对象满足聚合条件，将所述第二条带对象上的有
效数据与所述第一条带对象上的有效数据进行聚合，直到所述第一条带对象全部有效。
[0020]可选的，所述方法还包括：
[0021]若所述第二条带对象中的有效数据全部重新聚合到其他条带对象上，删除所述第二条带对象及所述第二条带对象对应的一级位图信息。
[0022]可选的，所述获取一级位图信息，包括：
[0023]若在前端删除元对象，从所述前端获取所述一级位图信息；
[0024]若在前端不存在删除元对象，从存储池中获取所述一级位图信息。
[0025]第二方面，本申请实施例提供了一种数据处理装置，多个数据大小不超过第一阈值的元对象聚合得到第一条带对象，所述装置包括：
[0026]获取单元，用于获取一级位图信息；
[0027]确定单元，用于根据所述一级位图信息确定二级位图信息，所述二级位图信息记录了第一条带对象中每个元对象的状态信息；
[0028]所述确定单元，还用于根据所述二级位图信息中的状态信息，确定所述第一条带对象中每个元对象的有效性；
[0029]处理单元，用于根据每个元对象的有效性对所述第一条带对象进行处理。
[0030]可选的，所述处理单元，具体用于：
[0031]根据每个元对象的有效性，对所述第一条带对象上有效数据和/或无效数据的长度进行统计；
[0032]若根据所述有效数据和/或无效数据的长度确定所述第一条带对象全部无效，对所述第一条带对象进行垃圾回收处理。
[0033]可选的，所述处理单元，具体用于：
[0034]若根据所述有效数据和/或无效数据的长度确定所述第一条带对象部分无效，确定无效数据的长度占所述第一条带对象的总长度的比例；
[0035]若所述比例超出第二阈值，对所述第一条带对象进行碎片整理；
[0036]若所述比例小于所述第二阈值，不对所述第一条带对象进行处理。
[0037]可选的，所述处理单元，具体用于：
[0038]若第二条带对象上无效数据的长度占所述第二条带对象的总长度的比例超出所述第二阈值，且所述第二条带对象上的元对象满足聚合条件，将所述第二条带对象上的有效数据与所述第一条带对象上的有效数据进行聚合，直到所述第一条带对象全部有效。
[0039]可选的，所述装置还包括删除单元：
[0040]所述删除单元，用于若所述第二条带对象中的有效数据全部重新聚合到其他条带对象上，删除所述第二条带对象及所述第二条带对象对应的一级位图信息。
[0041]可选的，所述获取单元，用于：
[0042]若在前端删除元对象，从所述前端获取所述一级位图信息；
[0043]若在前端不存在删除元对象，从存储池中获取所述一级位图信息。
[0044]由上述技术方案可以看出，本申请实施例具有以下优点：
[0045]多个数据大小不超过第一阈值的元对象聚合得到第一条带对象，在存在元对象删除时，可以获取一级位图信息；根据所述一级位图信息确定二级位图信息，所述二级位图信息记录了第一条带对象中每个元对象的状态信息；根据所述二级位图信息中的状态信息，
确定所述第一条带对象中每个元对象的有效性；根据每个元对象的有效性对所述第一条带对象进行处理。这样，便可以根据聚合后第一条带对象中每个元对象的有效性，对无效数据进行垃圾回收处理或碎片整理，以提高存储空间有效利用率，大大降低存储空间的浪费。
附图说明
[0046]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0047]图1为本申请实施例提供的一种数据处理方法的流程图；
[0048]图2为本申请实施例提供的一种数据处理方法的流程图；
[0049]图3为本申请实施例提供的一种数据处理装置的结构图。
具体实施方式
[0050]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0051]首先对本申请中涉及的名词进行解释：
[0052]分布式对象存储系统：指的是针本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，多个数据大小不超过第一阈值的元对象聚合得到第一条带对象，所述方法包括：获取一级位图信息；根据所述一级位图信息确定二级位图信息，所述二级位图信息记录了第一条带对象中每个元对象的状态信息；根据所述二级位图信息中的状态信息，确定所述第一条带对象中每个元对象的有效性；根据每个元对象的有效性对所述第一条带对象进行处理。2.根据权利要求1所述的方法，其特征在于，所述根据每个元对象的有效性对所述第一条带对象进行处理，包括：根据每个元对象的有效性，对所述第一条带对象上有效数据和/或无效数据的长度进行统计；若根据所述有效数据和/或无效数据的长度确定所述第一条带对象全部无效，对所述第一条带对象进行垃圾回收处理。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若根据所述有效数据和/或无效数据的长度确定所述第一条带对象部分无效，确定无效数据的长度占所述第一条带对象的总长度的比例；若所述比例超出第二阈值，对所述第一条带对象进行碎片整理；若所述比例小于所述第二阈值，不对所述第一条带对象进行处理。4.根据权利要求3所述的方法，其特征在于，所述对所述第一条带对象进行碎片整理，包括：若第二条带对象上无效数据的长度占所述第二条带对象的总长度的比例超出所述第二阈值，且所述第二条带对象上的元对象满足聚合条件，将所述第二条带对象上的有效数据与所述第一条带对象上的有效数据进行聚合，直到所述第一条带对象全部有效。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述第二条带对象中的有效数据全部重新聚合到其他条带对象上，删除所述第二条带对象及所述第二条带对象对应的一级位图信息。6.根据权利要求1
‑
...

【专利技术属性】
技术研发人员：何文龙，武模仁，赵煜，李欢欢，陶桐桐，胡永刚，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：