数据块处理方法、装置、设备及存储介质制造方法及图纸

本申请提出一种数据块处理方法、装置、设备及存储介质，通过待处理的目标数据块的目标逻辑地址，确定该目标逻辑地址对应的目标存储单元，该目标存储单元包括位图信息，该位图信息用于表示该目标存储单元对应的多个逻辑地址中每个逻辑地址对应的数据块是否为重复数据块。进一步，根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址，该标志位用于表示该目标数据块是否为重复数据块，并根据该目标物理地址对该目标数据块进行处理。在大量数据存储的情况下，可以有效提高对目标数据块的索引效率，从而促进了去重技术在大容量存储系统中的应用。而促进了去重技术在大容量存储系统中的应用。而促进了去重技术在大容量存储系统中的应用。

【技术实现步骤摘要】
数据块处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据块方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机技术的不断发展，人们在工作和生活中会产生大量的数据，通常情况下会将这些大量的数据存储到存储系统中。但是，存储系统中可能会存在冗余的数据，因此，需要对重复的数据进行去重即删除重复数据。
[0003]相关技术中的重复数据删除过程通常是将数据文件分割为多个数据块。进一步计算多个数据块中每个数据块的指纹信息，并将每个数据块的指纹信息作为每个数据块的关键字进行哈希查找，从而确定该数据块是否为重复数据块。
[0004]但是，在大量数据存储的情况下，针对数据块的索引效果较低，从而限制了去重技术在大容量存储系统中的应用。

技术实现思路

[0005]本申请实施例提供一种数据块处理方法、装置、设备及存储介质，以解决相关技术存在的问题，技术方案如下：
[0006]第一方面，本申请实施例提供了一种数据块处理方法，包括：
[0007]根据待处理的目标数据块的目标逻辑地址，确定该目标逻辑地址对应的目标存储单元，该目标存储单元包括位图信息，该位图信息用于表示该目标存储单元对应的多个逻辑地址中每个逻辑地址对应的数据块是否为重复数据块；
[0008]根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址，该标志位用于表示该目标数据块是否为重复数据块；
[0009]根据该目标物理地址对该目标数据块进行处理。<br/>[0010]在一种实施方式中，根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址，包括：
[0011]在该目标数据块为非重复数据块的情况下，将该目标逻辑地址在该位图信息中对应的标志位设置为该非重复数据块对应的第一标识；
[0012]根据该目标存储单元对应的非重复数据块对应的物理地址的起始位置和该位图信息中该第一标识的个数，确定该目标逻辑地址对应的目标物理地址。
[0013]在一种实施方式中，根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址，包括：
[0014]在该目标存储单元在内存中的情况下，根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址。
[0015]在一种实施方式中，该方法还包括：
[0016]在该目标存储单元不在内存中的情况下，确定该内存中已有的存储单元的数量是否大于或等于预设阈值；
[0017]在该内存中已有的存储单元的数量大于或等于预设阈值的情况下，删除该内存中在预设时间内未被访问过的存储单元。
[0018]在一种实施方式中，该方法还包括：
[0019]在该内存中已有的存储单元的数量小于预设阈值的情况下，从第一预设存储区中获取该目标存储单元；
[0020]将该目标存储单元读入到该内存中。
[0021]在一种实施方式中，将该目标存储单元读入到该内存中之后，该方法还包括：
[0022]确定该目标逻辑地址是否为该目标存储单元对应的多个逻辑地址中的首个逻辑地址；
[0023]在该目标逻辑地址为该目标存储单元对应的多个逻辑地址中的首个逻辑地址的情况下，更新已用的物理地址，得到更新后的已用物理地址；
[0024]将该已用物理地址作为该目标存储单元包括的第一物理地址起始位置。
[0025]在一种实施方式中，根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址，包括：
[0026]在该目标数据块为重复数据块的情况下，确定该目标逻辑地址在该位图信息中对应的标志位是否为该重复数据块对应的第二标识；
[0027]在该目标逻辑地址在该位图信息中对应的标志位是该第二标识的情况下，从第二预设存储区中查询该目标逻辑地址对应的该目标物理地址。
[0028]在一种实施方式中，该目标存储单元还包括：第一物理地址起始位置和物理地址数目；该方法还包括：
[0029]在该目标逻辑地址在该位图信息中对应的标志位不是该第二标识的情况下，根据该位图信息、该目标存储单元对应的第一逻辑地址起始位置、该第一物理地址起始位置和该物理地址数目，确定多个三元组；
[0030]从该多个三元组中确定该目标逻辑地址对应的目标三元组，该目标三元组包括第二逻辑地址起始位置和第二物理地址起始位置；
[0031]根据该目标逻辑地址、该第二逻辑地址起始位置和该第二物理地址起始位置，确定该目标逻辑地址对应的该目标物理地址。
[0032]在一种实施方式中，根据该目标逻辑地址、该第二逻辑地址起始位置和该第二物理地址起始位置，确定该目标逻辑地址对应的该目标物理地址之后，该方法还包括：
[0033]将该目标逻辑地址在该位图信息中对应的标志位设置为该第二标识；
[0034]将该目标逻辑地址和该目标逻辑地址对应的该目标物理地址存储到第二预设存储区中。
[0035]第二方面，本申请实施例提供了一种数据块处理装置，该装置包括：
[0036]确定模块，用于根据待处理的目标数据块的目标逻辑地址，确定该目标逻辑地址对应的目标存储单元，该目标存储单元包括位图信息，该位图信息用于表示该目标存储单元对应的多个逻辑地址中每个逻辑地址对应的数据块是否为重复数据块；根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址，该标志位用于表示该目标数据块是否为重复数据块；
[0037]处理模块，用于根据该目标物理地址对该目标数据块进行处理。
[0038]在一种实施方式中，该确定模块具体用于：
[0039]在该目标数据块为非重复数据块的情况下，将该目标逻辑地址在该位图信息中对应的标志位设置为该非重复数据块对应的第一标识；
[0040]根据该目标存储单元对应的非重复数据块对应的物理地址的起始位置和该位图信息中该第一标识的个数，确定该目标逻辑地址对应的目标物理地址。
[0041]在一种实施方式中，该确定模块具体用于：在该目标存储单元在内存中的情况下，根据该目标逻辑地址在该位图信息中对应的标志位，确定该目标逻辑地址对应的目标物理地址。
[0042]在一种实施方式中，该确定模块还用于：在该目标存储单元不在内存中的情况下，确定该内存中已有的存储单元的数量是否大于或等于预设阈值；
[0043]该装置还包括：删除模块，用于在该内存中已有的存储单元的数量大于或等于预设阈值的情况下，删除该内存中在预设时间内未被访问过的存储单元。
[0044]在一种实施方式中，该装置还包括：获取模块和读入模块；
[0045]该获取模块用于在该内存中已有的存储单元的数量小于预设阈值的情况下，从第一预设存储区中获取该目标存储单元；
[0046]该读入模块用于将该目标存储单元读入到该内存中。
[0047]在一种实施方式中，该确定模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据块处理方法，其特征在于，所述方法包括：根据待处理的目标数据块的目标逻辑地址，确定所述目标逻辑地址对应的目标存储单元，所述目标存储单元包括位图信息，所述位图信息用于表示所述目标存储单元对应的多个逻辑地址中每个逻辑地址对应的数据块是否为重复数据块；根据所述目标逻辑地址在所述位图信息中对应的标志位，确定所述目标逻辑地址对应的目标物理地址，所述标志位用于表示所述目标数据块是否为重复数据块；根据所述目标物理地址对所述目标数据块进行处理。2.根据权利要求1所述的方法，其特征在于，根据所述目标逻辑地址在所述位图信息中对应的标志位，确定所述目标逻辑地址对应的目标物理地址，包括：在所述目标数据块为非重复数据块的情况下，将所述目标逻辑地址在所述位图信息中对应的标志位设置为所述非重复数据块对应的第一标识；根据所述目标存储单元对应的非重复数据块对应的物理地址的起始位置和所述位图信息中所述第一标识的个数，确定所述目标逻辑地址对应的目标物理地址。3.根据权利要求1或2所述的方法，其特征在于，根据所述目标逻辑地址在所述位图信息中对应的标志位，确定所述目标逻辑地址对应的目标物理地址，包括：在所述目标存储单元在内存中的情况下，根据所述目标逻辑地址在所述位图信息中对应的标志位，确定所述目标逻辑地址对应的目标物理地址。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述目标存储单元不在内存中的情况下，确定所述内存中已有的存储单元的数量是否大于或等于预设阈值；在所述内存中已有的存储单元的数量大于或等于预设阈值的情况下，删除所述内存中在预设时间内未被访问过的存储单元。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述内存中已有的存储单元的数量小于预设阈值的情况下，从第一预设存储区中获取所述目标存储单元；将所述目标存储单元读入到所述内存中。6.根据权利要求5所述的方法，其特征在于，将所述目标存储单元读入到所述内存中之后，所述方法还包括：确定所述目标逻辑地址是否为所述目标存储单元对应的多个逻辑地址中的首个逻辑地址；在所述目标逻辑地址为所述目标存储单元对应的多个逻辑地址中的首个逻辑地址的情况下，更新已用的物理地址，得到更新后的已用物理地址；将所述已用物理地址作为所述目标存储单元包括的第一物理地址起始位置。7.根据权利要求1所述的方法，其特征在于，根据所述目标逻辑地址在所述位图信息中对应的标志位，确定所述目标逻辑地址对应的目标物理地址，包括：在所述目标数据块为重复数据块的情况下，确定所述目标逻辑地址在所述位图信息中对应的标志位是否为所述重复数据块对应的第二标识；在所述目标逻辑地址在所述位图信息中对应的标志位是所述第二标识的情况下，从第二预设存储区中查询所述目标逻辑地址对应的所述目标物理地址。
8.根据权利要求7所述的方法，其特征在于，所述目标存储单元还包括：第一物理地址起始位置和物理地址数目；所述方法还包括：在所述目标逻辑地址在所述位图信息中对应的标志位不是所述第二标识的情况下，根据所述位图信息、所述目标存储单元对应的第一逻辑地址起始位置、所述第一物理地址起始位置和所述物理地址数目，确定多个三元组；从所述多个三元组中确定所述目标逻辑地址对应的目标三元组，所述目标三元组包括第二逻辑地址起始位置和第二物理地址起始位置；根据所述目标逻辑地址、所述第二逻辑地址起始位置和所述第二物理地址起始位置，确定所述目标逻辑地址对应的所述目标物理地址。9.根据权利要求8所述的方法，其特征在于，根据所述目标逻辑地址、所述第二逻辑地址起始位置和所述第二物理地址起始位置，确定所述目标逻辑地址对应的所述目标物理地址之后，所述方法还包括：将所述目标逻辑地址在所述位图信息中对应的标志位设置为所述第二标识；将所述目标逻辑地址和所述目标逻辑地址对应的所述目标物理地址存储到第二预设存储区中。10.一种数据块处理装置，其特征在于，所述装置包括：确定模块，用于根据待处理的目标数据块的目标逻辑地址，确...

【专利技术属性】
技术研发人员：高华龙，
申请(专利权)人：北京云宽志业网络技术有限公司，
类型：发明
国别省市：