一种数据重删方法及装置制造方法及图纸

本发明专利技术提供一种数据重删方法及装置，方法包括：确定第一区域，第一区域为写入数据频率低于预设的频率阈值的区域，区域包含至少一个数据块；计算第一区域的第一数据块的哈希值；判断第一数据块的哈希值是否与重删映射表项中的哈希值相同；当相同时，获取重删映射表项中重删数据块的物理地址；读取重删数据块中的数据；当重删数据块中的数据与第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收第一数据块。本发明专利技术可提高重删效率，降低写入数据延时，提高存储系统的工作效率。

【技术实现步骤摘要】

本专利技术涉及存储
，尤其涉及一种数据重删方法及装置。
技术介绍
重删是一种自动搜索重复数据，并将相同数据保留唯一副本的存储技术。通过重删处理，可消除存储系统的冗余数据，降低对存储容量的需求。目前比较流行的重删技术是基于Hash(译为散列或哈希)算法实现的在线重删技术，即在写入数据时，计算写入数据的Hash值，通过Hash值匹配，保留新增数据，删除重复数据。Hash值计算以及匹配过程需要消耗大量的系统资源，造成写数据延迟，影响存储系统工作效率。
技术实现思路
本专利技术的目的在于提供一种数据重删方法及装置，用以在非热点区域执行后台重删处理。为实现上述专利技术目的，本专利技术提供了技术方案：本专利技术提供一种数据重删方法，应用于存储系统，所述方法包括：确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；计算所述第一区域的第一数据块的哈希值；判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重本文档来自技高网...

【技术保护点】
一种数据重删方法，应用于存储系统，其特征在于，所述方法包括：确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；计算所述第一区域的第一数据块的哈希值；判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；根据所述重删数据块的物理地址读取所述重删数据块中的数据；当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关...

【技术特征摘要】
1.一种数据重删方法，应用于存储系统，其特征在于，所述方法包括：确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；计算所述第一区域的第一数据块的哈希值；判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；根据所述重删数据块的物理地址读取所述重删数据块中的数据；当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。2.如权利要求1所述的方法，其特征在于，所述确定第一区域之前，还包括：获取预设的统计时长；在所述统计时长内，统计每一个数据块的写入次数；计算同一区域内所有数据块的写入次数的总和；根据所述写入次数的总和以及所述统计时长，得到当前区域的写入数据频率。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：当所述第一数据块的哈希值与重删映射表项中的哈希值不同时，分配重删数据块；将所述第一数据块的数据写入分配的重删数据块；将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系；建立所述第一数据块的哈希值与所述分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项；回收所述第一数据块。4.如权利要求1所述的方法，其特征在于，所述方法还包括：将第二区域的第二数据块对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，所述第二区域为写入数据频率达到所述预设频率阈值的区域。5.一种数据重删装置，应用于存储系统，其特征在于，所述装置包括：确...

【专利技术属性】
技术研发人员：扈海龙，
申请(专利权)人：杭州宏杉科技有限公司，
类型：发明
国别省市：浙江;33