管理数据块的方法、电子设备和计算机程序产品技术

本公开的实施例涉及用于管理数据块的方法、电子设备和计算机程序产品。一种管理数据块的方法包括基于第一哈希算法，针对要存储到存储设备的第一数据块生成第一指纹。该方法还包括如果确定指纹数据库中存在基于第一哈希算法针对第二数据块生成的第二指纹与第一指纹匹配，确定指纹数据库中是否存在基于第二哈希算法针对第二数据块生成的第三指纹，其中该指纹数据库记录存储在存储设备中的数据块的指纹。该方法还包括如果确定指纹数据库中存在第三指纹，基于第二哈希算法针对第一数据块生成第四指纹；以及通过比较第三指纹和第四指纹来确定第一数据块与第二数据块是否重复。本公开的实施例能够有效降低数据去重中识别重复数据块的开销。数据块的开销。数据块的开销。

【技术实现步骤摘要】
管理数据块的方法、电子设备和计算机程序产品


[0001]本公开的实施例总体涉及数据存储领域，具体涉及用于管理数据块的方法、电子设备和计算机程序产品。

技术介绍

[0002]通常，在将数据块存储到存储设备之前，可以执行去重(deduplication)操作来避免将重复数据块存储到存储设备中。去重操作通常按照如下流程进行。首先确定待存储数据块的指纹(例如，哈希值)，然后将所确定的指纹与已存储到存储设备的数据块的指纹进行比较。如果所确定的指纹与已存储数据块的指纹都不匹配，则表明待存储数据块不是重复数据块。如果所确定的指纹与已存储数据块的指纹匹配，为了避免由于哈希算法碰撞导致的误判，可以从存储设备中读取已存储数据块并对其进行解压缩。通过将解压缩后的数据块与待存储数据块进行逐比特比较来确定两者是否为重复数据块。如果确定待存储数据块不是重复数据块，则对待存储数据块进行压缩，然后将压缩后的数据块存储到存储设备中。

技术实现思路

[0003]本公开的实施例提供了用于管理数据块的方法、电子设备和计算机程序产品。
[0004]在本公开的第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管理数据块的方法，包括：基于第一哈希算法，针对要存储到存储设备的第一数据块生成第一指纹；如果确定指纹数据库中存在基于所述第一哈希算法针对第二数据块生成的第二指纹与所述第一指纹匹配，确定所述指纹数据库中是否存在基于第二哈希算法针对所述第二数据块生成的第三指纹，其中所述指纹数据库记录存储在所述存储设备中的数据块的指纹；如果确定所述指纹数据库中存在所述第三指纹，基于所述第二哈希算法针对所述第一数据块生成第四指纹；以及通过比较所述第三指纹和所述第四指纹来确定所述第一数据块与所述第二数据块是否重复。2.根据权利要求1所述的方法，还包括：如果确定所述指纹数据库中不存在与所述第一指纹匹配的指纹，将所述第一数据块存储在所述存储设备中；以及将所述第一指纹存储在所述指纹数据库中。3.根据权利要求1所述的方法，还包括：如果确定所述指纹数据库中不存在所述第三指纹，从所述存储设备中获取所述第二数据块；以及通过比较所述第一数据块和所述第二数据块来确定所述第一数据块与所述第二数据块是否重复。4.根据权利要求3所述的方法，还包括：如果确定所述第一数据块与所述第二数据块重复，基于所述第二哈希算法针对所述第二数据块生成所述第三指纹；以及将所述第三指纹存储在所述指纹数据库中。5.根据权利要求3所述的方法，还包括：如果确定所述第一数据块与所述第二数据块不重复，将所述第一数据块存储在所述存储设备中；以及将所述第一指纹存储在所述指纹数据库中。6.根据权利要求1所述的方法，其中确定所述第一数据块与所述第二数据块是否重复包括：如果所述第三指纹与所述第四指纹匹配，确定所述第一数据块与所述第二数据块重复；以及如果所述第三指纹与所述第四指纹不匹配，确定所述第一数据块与所述第二数据块不重复。7.根据权利要求6所述的方法，还包括：如果确定所述第一数据块与所述第二数据块不重复，将所述第一数据块存储在所述存储设备中；以及将所述第一指纹和所述第四指纹存储在所述指纹数据库中。8.根据权利要求1所述的方法，其中所述第二哈希算法的碰撞概率低于所述第一哈希算法的碰撞概率。9.根据权利要求1所述的方法，其中所述第一哈希算法是Murmur3哈希算法，并且所述
第二哈希算法是SHA
‑
1哈希算法。10.一种电子设备，包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述电子设备执行动作，所述动作包括：基于第一哈希算法，针对要存储到存储设备的第一数...

【专利技术属性】
技术研发人员：韩耕，徐鑫磊，刘友生，贾瑞勇，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：