分布式对象存储系统中追加数据的重复删除的方法和设备技术方案

本发明专利技术提供了一种分布式对象存储系统中追加数据的重复删除的方法和设备，该方法包括：响应于接收到上传追加数据的请求，判断追加数据是否为首次追加数据；响应于追加数据不是首次追加数据，计算目标文件最后一个尾对象的数据大小；响应于目标文件最后一个尾对象的数据大小在阈值范围内，将最后一个尾对象数据读到内存中；从追加数据中获取数据并追加到最后一个尾对象中以形成阈值大小的数据块并存储至存储系统中；将目标文件的最后一个标识信息替换成阈值大小的数据块的标识信息并将追加数据中的其他数据依次写入到存储系统中并在需要时做重删。通过使用本发明专利技术的方案，能够解决当前重删方案不支持追加上传数据的问题，扩展了重删功能的兼容性。扩展了重删功能的兼容性。扩展了重删功能的兼容性。

【技术实现步骤摘要】
分布式对象存储系统中追加数据的重复删除的方法和设备


[0001]本领域涉及计算机领域，并且更具体地涉及一种分布式对象存储系统中追加数据的重复删除的方法和设备。

技术介绍

[0002]当前的分布式对象存储系统中，针对普通上传操作已经实现了数据的重复删除技术，大大提高了数据存取速度，节省了存储空间。但是现有的重删功能不支持追加上传数据的操作。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提出一种分布式对象存储系统中追加数据的重复删除的方法和设备，通过使用本专利技术的方法，能够解决当前重删方案中不支持追加上传数据的问题，扩展了重删功能的兼容性，提高了对象存储中追加上传的效率，给客户带来了良好的用户体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。
[0004]基于上述目的，本专利技术的实施例的一个方面提供了一种分布式对象存储系统中追加数据的重复删除的方法，包括以下步骤：
[0005]响应于接收到上传追加数据的请求，判断追加数据是否为首次追加数据；
[0006]响应于追加数据不是首次追加数据，计算目标文件最后一个尾对象的数据大小；
[0007]响应于目标文件最后一个尾对象的数据大小在阈值范围内，将最后一个尾对象数据读到内存中；
[0008]从追加数据中获取数据并追加到最后一个尾对象中以形成阈值大小的数据块并存储至存储系统中；
[0009]将目标文件的最后一个标识信息替换成阈值大小的数据块的标识信息并将追加数据中的其他数据依次写入到存储系统中并在需要时做重删。
[0010]根据本专利技术的一个实施例，从追加数据中获取数据并追加到最后一个尾对象中以形成阈值大小的数据块并存储至存储系统中包括：
[0011]计算阈值大小的数据块与最后一个尾对象的数据大小的差值；
[0012]在追加数据中获取差值大小的数据并将获取的数据拼接到最后一个尾对象后以形成新的数据块；
[0013]将新的数据块存储到最后一个尾对象的原位置处。
[0014]根据本专利技术的一个实施例，将目标文件的最后一个标识信息替换成阈值大小的数据块的标识信息并将追加数据中的其他数据依次写入到存储系统中并在需要时做重删包括：
[0015]获取阈值大小的数据块的指纹信息以作为阈值大小的数据块的标志信息；
[0016]将目标文件的数据结构中的最后一个标识信息删除；
[0017]将指纹信息写入到数据结构中；
[0018]将追加数据中的其他数据以预设大小划分成若干个数据块，将若干个数据块依次写入到存储系统中；
[0019]判断追加数据是否需要进行重删操作；
[0020]响应于追加数据需要进行重删操作，将追加数据进行重删。
[0021]根据本专利技术的一个实施例，阈值范围为数据大小大于0且小于4兆。
[0022]根据本专利技术的一个实施例，阈值大小的数据块的标识信息为阈值大小的数据块的指纹信息。
[0023]根据本专利技术的一个实施例，阈值大小为4兆。
[0024]本专利技术的实施例的另一个方面，还提供了一种分布式对象存储系统中追加数据的重复删除的设备，设备包括：
[0025]判断模块，判断模块配置为响应于接收到上传追加数据的请求，判断追加数据是否为首次追加数据；
[0026]计算模块，计算模块配置为响应于追加数据不是首次追加数据，计算目标文件最后一个尾对象的数据大小；
[0027]读取模块，读取模块配置为响应于目标文件最后一个尾对象的数据大小在阈值范围内，将最后一个尾对象数据读到内存中；
[0028]追加模块，追加模块配置为从追加数据中获取数据并追加到最后一个尾对象中以形成阈值大小的数据块并存储至存储系统中；
[0029]写入模块，写入模块配置为将目标文件的最后一个标识信息替换成阈值大小的数据块的标识信息并将追加数据中的其他数据依次写入到存储系统中并在需要时做重删。
[0030]根据本专利技术的一个实施例，追加模块还配置为：
[0031]计算阈值大小的数据块与最后一个尾对象的数据大小的差值；
[0032]在追加数据中获取差值大小的数据并将获取的数据拼接到最后一个尾对象后以形成新的数据块；
[0033]将新的数据块存储到最后一个尾对象的原位置处。
[0034]根据本专利技术的一个实施例，写入模块还配置为：
[0035]获取阈值大小的数据块的指纹信息以作为阈值大小的数据块的标志信息；
[0036]将目标文件的数据结构中的最后一个标识信息删除；
[0037]将指纹信息写入到数据结构中；
[0038]将追加数据中的其他数据以预设大小划分成若干个数据块，将若干个数据块依次写入到存储系统中；
[0039]判断追加数据是否需要进行重删操作；
[0040]响应于追加数据需要进行重删操作，将追加数据进行重删。
[0041]根据本专利技术的一个实施例，阈值范围为数据大小大于0且小于4兆。
[0042]本专利技术具有以下有益技术效果：本专利技术实施例提供的分布式对象存储系统中追加数据的重复删除的方法，通过响应于接收到上传追加数据的请求，判断追加数据是否为首次追加数据；响应于追加数据不是首次追加数据，计算目标文件最后一个尾对象的数据大小；响应于目标文件最后一个尾对象的数据大小在阈值范围内，将最后一个尾对象数据读到内存中；从追加数据中获取数据并追加到最后一个尾对象中以形成阈值大小的数据块并
存储至存储系统中；将目标文件的最后一个标识信息替换成阈值大小的数据块的标识信息并将追加数据中的其他数据依次写入到存储系统中并在需要时做重删的技术方案，能够解决当前重删方案中不支持追加上传数据的问题，扩展了重删功能的兼容性，提高了对象存储中追加上传的效率，给客户带来了良好的用户体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。
附图说明
[0043]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0044]图1为根据本专利技术一个实施例的分布式对象存储系统中追加数据的重复删除的方法的示意性流程图；
[0045]图2为根据本专利技术一个实施例的分布式对象存储系统中追加数据的重复删除的设备的示意图。
具体实施方式
[0046]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0047]基于上述目的，本专利技术的实施例的第一个方面，提出了一种分布式对象存储系统中追加数据的重复删除的方法的一个实施例。图1示出的是该方法的示意性流程图。
[0048]如图1中所示，该方法可以包括以下步骤：
[0049]S1响应于接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式对象存储系统中追加数据的重复删除的方法，其特征在于，包括以下步骤：响应于接收到上传追加数据的请求，判断所述追加数据是否为首次追加数据；响应于所述追加数据不是首次追加数据，计算目标文件最后一个尾对象的数据大小；响应于所述目标文件最后一个尾对象的数据大小在阈值范围内，将所述最后一个尾对象数据读到内存中；从所述追加数据中获取数据并追加到所述最后一个尾对象中以形成阈值大小的数据块并存储至存储系统中；将所述目标文件的最后一个标识信息替换成所述阈值大小的数据块的标识信息并将所述追加数据中的其他数据依次写入到所述存储系统中并在需要时做重删。2.根据权利要求1所述的方法，其特征在于，从所述追加数据中获取数据并追加到所述最后一个尾对象中以形成阈值大小的数据块并存储至存储系统中包括：计算所述阈值大小的数据块与所述最后一个尾对象的数据大小的差值；在所述追加数据中获取所述差值大小的数据并将获取的所述数据拼接到所述最后一个尾对象后以形成新的数据块；将所述新的数据块存储到所述最后一个尾对象的原位置处。3.根据权利要求1所述的方法，其特征在于，将所述目标文件的最后一个标识信息替换成所述阈值大小的数据块的标识信息并将所述追加数据中的其他数据依次写入到所述存储系统中并在需要时做重删包括：获取所述阈值大小的数据块的指纹信息以作为所述阈值大小的数据块的标志信息；将所述目标文件的数据结构中的最后一个标识信息删除；将所述指纹信息写入到所述数据结构中；将所述追加数据中的其他数据以预设大小划分成若干个数据块，将所述若干个数据块依次写入到所述存储系统中；判断所述追加数据是否需要进行重删操作；响应于所述追加数据需要进行重删操作，将所述追加数据进行重删。4.根据权利要求1所述的方法，其特征在于，所述阈值范围为数据大小大于0且小于4兆。5.根据权利要求1所述的方法，其特征在于，所述阈值大小的数据块的标识...

【专利技术属性】
技术研发人员：李欢欢，胡永刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：