一种聚合对象数据处理方法、系统及相关设备技术方案

本发明专利技术实施例提供了一种聚合对象数据处理方法、系统及相关设备。本发明专利技术实施例中，可以根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布，然后读取目标聚合对象中的所有有效小文件对象至缓存中，并删除目标聚合对象所占用的目标物理存储空间，最后根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入目标物理存储空间。相对于现有技术，由于整个处理过程在服务端进行实施，减少了目标文件元数据在客户端与服务端之间的数据跳转，节约了带宽资源，提高了数据管理效率。同时，在物理存储空间上实现了无效小文件对象的释放，提高了存储空间利用率。

An aggregate object data processing method, system and related equipment

【技术实现步骤摘要】
一种聚合对象数据处理方法、系统及相关设备
本专利技术涉及数据处理
，尤其涉及一种聚合对象数据处理方法、系统及相关设备。
技术介绍
小文件聚合技术：通过将多个小文件对象聚合成一个聚合对象进行存储实现高效的文件存储。比如淘宝应用程序的TFS和facebook应用程序的hashstack，都采用了类似的技术，提供海量图片的访问。在现有的聚合对象管理方式中，多个小文件对象共用一个对象，删除聚合对象中的小文件对象，只是逻辑上的删除(删除了小文件对象的映射关系)，并不能真正释放被删除的所占用的空间，导致存储空间的浪费。同时，常见的逻辑上的空间清理是在客户端进行修改小文件对象的元数据。由于整个处理过程在客户端进行实施，客户端需要先从服务端获取小文件对象的元数据，然后再发送清理操作指令，即空间清理至少数据需要至少两次网络跳转，浪费带宽资源，费时费力，管理效率低下。
技术实现思路
本专利技术实施例提供了一种聚合对象数据处理方法、系统及相关设备，用于提高存储空间利用率，提高文件管理的效率。本专利技术实施例第一方面提供了一种聚合对象数据处理方法，运用于服务端，所述方法可包括：在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象；根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象，所述文件释放信息中记录有被释放的小文件对象的名称；根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布；读取所述目标聚合对象中的所有有效小文件对象至缓存中，并删除所述目标聚合对象所占用的目标物理存储空间；根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。可选的，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理方法还可以包括：在所述目标聚合对象的元数据中记录各个有效小文件对象的原始逻辑偏移量与最新逻辑偏移量的映射关系。可选的，作为一种可能的实施方式，本专利技术实施例中，各个小文件对象的元数据中记录其所属的聚合对象ID、原始逻辑偏移量及数据长度，所述方法还可以包括：接收客户端发送的数据提取请求，所述提取请求中包含提取的第一小文件对象的名称；查询所述第一小文件对象的目标元数据；根据所述目标元数据中的原始逻辑偏移量查询所述目标小文件对象的最新逻辑偏移量；根据所述目标小文件对象的最新逻辑偏移量及数据长度在所述目标物理存储空间中提取所述目标小文件对象。可选的，作为一种可能的实施方式，本专利技术实施例中，各个聚合对象的元数据中还记录有已存储的所有小文件对象的数据长度之和，所述在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，包括：根据文件释放信息及已存储的所有小文件对象的数据长度计算各个聚合对象的存储空间使用率；确定存储空间使用率小于第一预设阈值，且预设时间内未发生修改的聚合对象为目标聚合对象。可选的，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理方法还可以包括：确定存储空间使用率小于第二预设阈值的聚合对象为强制释放对象；将所述强制释放对象中的有效小文件对象转存至其它聚合对象中，并删除所述强制释放对象。可选的，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理方法还可以包括：接收到删除指令，所述删除指令中包含需要被删除的第二小文件对象的名称；查询所述第二小文件对象的元数据中的聚合对象ID、原始逻辑偏移量及数据长度；将所述第二小文件对象的元数据中的聚合对象ID、原始逻辑偏移量及数据长度写入所述第二小文件对象的元数据中记录对象中，作为所述文件释放信息中的一种。本专利技术实施例第二方面提供了一种聚合对象数据处理系统，运用于服务端，聚合对象数据处理系统可以包括：第一确定单元，用于在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象；第二确定单元，用于根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象，所述文件释放信息中记录有被释放的小文件对象的名称；计算单元，用于根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布；读取单元，用于读取所述目标聚合对象中的所有有效小文件对象至缓存中，并删除所述目标聚合对象所占用的目标物理存储空间；重写单元，用于根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。可选的，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理系统还可以包括：记录单元，用于在所述目标聚合对象的元数据中记录各个有效小文件对象的原始逻辑偏移量与最新逻辑偏移量的映射关系。可选的，本专利技术实施例中的各个小文件对象的元数据中记录其所属的聚合对象ID、原始逻辑偏移量及数据长度，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理系统还可以包括：第一接收单元，用于接收客户端发送的数据提取请求，所述提取请求中包含提取的第一小文件对象的名称；第一查询单元，用于查询所述第一小文件对象的目标元数据；第二查询单元，用于根据所述目标元数据中的原始逻辑偏移量查询所述目标小文件对象的最新逻辑偏移量；提取单元，用于根据所述目标小文件对象的最新逻辑偏移量及数据长度在所述目标物理存储空间中提取所述目标小文件对象。可选的，作为一种可能的实施方式，本专利技术实施例中的所述第一确定单元，包括：计算模块，用于根据文件释放信息及已存储的所有小文件对象的数据长度计算各个聚合对象的存储空间使用率；确定模块，用于确定存储空间使用率小于第一预设阈值，且预设时间内未发生修改的聚合对象为目标聚合对象。可选的，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理系统还可以包括：第三确定单元，用于确定存储空间使用率小于第二预设阈值的聚合对象为强制释放对象；转存单元，用于将所述强制释放对象中的有效小文件对象转存至其它聚合对象中，并删除所述强制释放对象。可选的，作为一种可能的实施方式，本专利技术实施例中的聚合对象数据处理系统还可以包括：第二接收单元，用于接收到删除指令，所述删除指令中包含需要被删除的第二小文件对象的名称；第三查询单元，用于查询所述第二小文件对象的元数据中的聚合对象ID、原始逻辑偏移量及数据长度；写入单元，用于将所述第二小文件对象的元数据中的聚合对象ID、原始逻辑偏移量及数据长度写入所述第二小文件对象的元数据中记录对象中，作为所述文件释放信息中的一种。本专利技术实施例第三方面提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述处理器用于执行存储器本文档来自技高网...

【技术保护点】
1.一种聚合对象数据处理方法，其特征在于，运用于服务端，所述方法包括：/n在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象；/n根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象，所述文件释放信息中记录有被释放的小文件对象的名称；/n根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布；/n读取所述目标聚合对象中的所有有效小文件对象至缓存中，并删除所述目标聚合对象所占用的目标物理存储空间；/n根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。/n

【技术特征摘要】
1.一种聚合对象数据处理方法，其特征在于，运用于服务端，所述方法包括：
在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象；
根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象，所述文件释放信息中记录有被释放的小文件对象的名称；
根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布；
读取所述目标聚合对象中的所有有效小文件对象至缓存中，并删除所述目标聚合对象所占用的目标物理存储空间；
根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。


2.根据权利要求1所述的方法，其特征在于，还包括：
在所述目标聚合对象的元数据中记录各个有效小文件对象的原始逻辑偏移量与最新逻辑偏移量的映射关系。


3.根据权利要求2所述的方法，其特征在于，各个小文件对象的元数据中记录其所属的聚合对象ID、原始逻辑偏移量及数据长度，所述方法还包括：
接收客户端发送的数据提取请求，所述提取请求中包含提取的第一小文件对象的名称；
查询所述第一小文件对象的目标元数据；
根据所述目标元数据中的原始逻辑偏移量查询所述目标小文件对象的最新逻辑偏移量；
根据所述目标小文件对象的最新逻辑偏移量及数据长度在所述目标物理存储空间中提取所述目标小文件对象。


4.根据权利要求1至3中任一项所述的方法，其特征在于，各个聚合对象的元数据中还记录有已存储的所有小文件对象的数据长度之和，所述在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，包括：
根据文件释放信息及已存储的所有小文件对象的数据长度计算各个聚合对象的存储空间使用率；
确定存储空间使用率小于第一预设阈值，且预设时间内未发生修改的聚合对象为目标聚合对象。


5.根据权利要求4所述的方法，其特征在于，还包括：
确定存储空间使用率小于第二预设阈值的聚合对象为强制释放对象；
将所述强制释放对象中的有效小文件对象转存至其它聚合对象中，并删除所述强制释放对象。


6.根据权利要求2至3中任一项所述的方法，其特征在于，还包括：
接收到删除指令，所述删除指令中包含需要被删除的第二小文件对象的名称；
...

【专利技术属性】
技术研发人员：张增冉，宁韬，陈岩，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44