存储数据的方法、装置和计算机程序产品制造方法及图纸

本公开的实施例涉及用于存储数据的方法、电子设备和计算机程序产品。一种用于存储数据的方法包括估计与目标存储设备相关联的摘要缓存的命中率，该摘要缓存记录经过预处理后被存储至目标存储设备的数据的摘要；根据命中率低于预定阈值的确定，针对待存储的目标数据生成摘要并且执行预处理；以及根据目标数据的摘要在摘要缓存中缺失的确定，将经过预处理的目标数据存储至目标存储设备，并且将目标数据的摘要记录在摘要缓存中。本公开的实施例在数据重复度较高和数据重复度较低的情况下都能够实现较好的系统性能。实现较好的系统性能。实现较好的系统性能。

【技术实现步骤摘要】
存储数据的方法、装置和计算机程序产品


[0001]本公开的实施例总体涉及数据存储领域，具体涉及用于存储数据的方法、装置和计算机程序产品。

技术介绍

[0002]通常，在将数据存储到存储设备之前，可以对数据执行压缩和去重(deduplication)操作以节省所需的存储空间。压缩和去重操作通常按照如下流程进行。首先计算待存储数据的摘要(例如，哈希值)，然后将所计算的摘要与已存储到存储设备的数据的摘要进行比较。如果所计算的摘要与已存储数据的摘要都不匹配，则对待存储数据进行压缩并且将经压缩的数据存储到存储设备。此外，所计算的摘要将被添加到已存储数据的摘要中，用于下一次比较。如果所计算的摘要与已存储数据的摘要匹配，则表示该数据已经被存储到存储设备中，因此无需执行压缩操作。
[0003]上述压缩和去重操作流程在数据重复度较高的情况下能够避免不必要的压缩操作被执行，从而实现较好的系统性能。然而，上述压缩和去重操作流程在数据重复度较低的情况下可能对系统性能造成不利影响。

技术实现思路

[0004]本公开的实施例提供了用于存储数据的方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于存储数据的方法，包括：估计与目标存储设备相关联的摘要缓存的命中率，所述摘要缓存记录经过预处理后被存储至所述目标存储设备的数据的摘要；根据所述命中率低于预定阈值的确定，针对待存储的目标数据生成摘要并且执行所述预处理；以及根据所述目标数据的所述摘要在所述摘要缓存中缺失的确定，将经过所述预处理的所述目标数据存储至所述目标存储设备，并且将所述目标数据的所述摘要记录在所述摘要缓存中。2.根据权利要求1所述的方法，其中估计所述摘要缓存的所述命中率包括：至少基于所述摘要缓存在多个时间窗口内的相应命中率，估计所述摘要缓存的所述命中率。3.根据权利要求2所述的方法，其中估计所述摘要缓存的所述命中率包括：基于所述摘要缓存在所述多个时间窗口内的相应命中率和所述多个时间窗口的相应权重，估计所述摘要缓存的所述命中率。4.根据权利要求2所述的方法，还包括：确定所述目标数据的所述摘要在所述摘要缓存中是否命中；以及基于所述确定的结果，更新所述摘要缓存在所述多个时间窗口内的相应命中率。5.根据权利要求1所述的方法，其中针对所述目标数据生成所述摘要并且执行所述预处理包括：将所述目标数据从存储器读取至处理器缓存中；以及在所述处理器缓存中，针对所述目标数据生成所述摘要并且执行所述预处理。6.根据权利要求5所述的方法，其中将经过所述预处理的所述目标数据存储至所述目标存储设备包括：将经过所述预处理的所述目标数据从所述处理器缓存冲刷至所述目标存储设备中。7.根据权利要求1所述的方法，还包括：根据所述命中率超过所述预定阈值的确定，生成所述目标数据的所述摘要；以及根据所述目标数据的所述摘要在所述摘要缓存中缺失的确定，对所述目标数据执行所述预处理。8.根据权利要求7所述的方法，其中生成所述目标数据的所述摘要包括：将所述目标数据从存储器读取至处理器缓存中；以及在所述处理器缓存中，生成所述目标数据的所述摘要。9.根据权利要求8所述的方法，其中对所述目标数据进行所述预处理包括：根据所述目标数据在所述处理器缓存中缺失的确定，将所述目标数据从所述存储器读取至所述处理器缓存中；以及在所述处理器缓存中，对所述目标数据执行所述预处理。10.根据权利要求1所述的方法，其中所述预处理包括压缩。11.一种电子设备，包括：至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述电子设备执行动作，所述动作包括：估计与目标存储设...

【专利技术属性】
技术研发人员：张雷虎，宫晨，吕烁，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：