【技术实现步骤摘要】
一种基于主机的存储重删处理方法和装置
本专利技术涉及计算机领域，并且更具体地，涉及一种基于主机的存储重删处理方法和装置。
技术介绍
数据重删(重复数据删除处理)是企业存储进行数据缩减的一个主要技术，重删是将相同数据在存储上只保存一份，其他的重复数据块保留一个地址引用到这个唯一的存储块，通过对数据按照指定大小进行分块计算指纹，通过指纹来判断是否是相同数据，这样对于大量冗余的数据通过重删的处理可以节省大量存储空间，为企业节省存储空间，减少存储成本投入。衡量数据重删效果可以概况为两个指标：重删率和吞吐率。数据重删率高，数据缩减效果更明显，占用存储空间更少。吞吐量率，数据重删处理效率高，对主机业务应用延迟影响小。很多研究表明数据切片如果越小，去重复率越大，但是会导致低吞吐率；反之，数据切片越大，去重复率降低，但是吞吐率会提高。根据数据切片的指纹高效率地在数据切片管理系统中查询或者建立新的数据切片索引是提高吞吐率的关键所在。如何优化重删率和吞吐率成为本专利技术的所要考虑的问题。
技术实现思路
鉴于此，本专利...
【技术保护点】
1.一种基于主机的存储重删处理方法，其特征在于，包括以下步骤：/n为硬盘中的数据块指纹添加主机标签并将同一主机的指纹作为一个集合，计算每一个主机集合中的指纹热度和主机集合热度；/n将主机集合热度最高的所述主机中的指纹加载到内存中和/或将所有所述指纹热度从高到低排序以加载排序最高的多个指纹到内存中；/n响应于要向所述硬盘中写入数据，计算所述数据的指纹并从所述内存中查找所述指纹以对查找到的所述指纹进行重删处理；/n响应于未在所述内存中找到所述指纹，从所述硬盘中查找所述指纹，并更新所述指纹热度和写入主机的主机集合热度。/n
【技术特征摘要】
1.一种基于主机的存储重删处理方法，其特征在于，包括以下步骤：
为硬盘中的数据块指纹添加主机标签并将同一主机的指纹作为一个集合，计算每一个主机集合中的指纹热度和主机集合热度；
将主机集合热度最高的所述主机中的指纹加载到内存中和/或将所有所述指纹热度从高到低排序以加载排序最高的多个指纹到内存中；
响应于要向所述硬盘中写入数据，计算所述数据的指纹并从所述内存中查找所述指纹以对查找到的所述指纹进行重删处理；
响应于未在所述内存中找到所述指纹，从所述硬盘中查找所述指纹，并更新所述指纹热度和写入主机的主机集合热度。
2.根据权利要求1所述的方法，其特征在于，为硬盘中的数据块指纹添加主机标签并将同一主机的指纹作为一个集合，计算每一个主机集合中的指纹热度和主机集合热度包括：
使用SHA-1数字签名算法对每个数据块的内容计算其哈希值，以得到所述数据块的指纹。
3.根据权利要求2所述的方法，其特征在于，为硬盘中的数据块指纹添加主机标签并将同一主机的指纹作为一个集合，计算每一个主机集合中的指纹热度和主机集合热度还包括：
使用最近最少使用算法计算主机集合中的指纹热度并进行热度排序，通过对同一主机的指纹热度作加权算法以计算所述主机集合热度。
4.根据权利要求1所述的方法，其特征在于，将主机集合热度最高的所述主机中的指纹加载到内存中和/或将所有所述指纹热度从高到低排序以加载排序最高的多个指纹到内存中包括：
根据内存容量大小选择加载的指纹数量。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述硬盘中维护三个数据区域，包括元数据区、数据区和指纹区，其中，
所述元数...
【专利技术属性】
技术研发人员：陈东河，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。