重复数据删除系统的优化方法技术方案

技术编号:7217898 阅读:300 留言:0更新日期:2012-04-11 18:40
一种重复数据删除系统的优化方法,包括步骤:获取当前数据的分块,对分块进行哈希计算,以得到分块的哈希指纹,判断分块的哈希指纹是否存在于哈希指纹库中,若分块的哈希指纹存在于哈希指纹库中,则判断哈希指纹库中分块的引用数大于阈值并且副本数是否小于阈值,若哈希指纹库中分块的引用数大于阈值并且副本数小于阈值,则判断分块的信息是否存在于索引表中,若分块的信息存在于索引表中,则调用节点分配过程,以选择轻负载节点,将分块存储于轻负载节点中,更新索引表中分块的信息,将哈希指纹库中分块的引用数加1。本方法能够根据重复数据删除系统当前各存储节点的负载和能耗状态动态分配存储空间,平衡各存储节点的工作负载,提高系统性能。

【技术实现步骤摘要】

本专利技术涉及数据存储领域,具体涉及一种。
技术介绍
重复数据删除系统基于内容寻址,能够消除重复的数据,提高空间利用率。重复数据删除系统将文件按给定的数据划分策略分割成若干个小的数据分块,并基于数据分块的某种特征进行相同检测,只存储不重复的数据分块,从而达到删除冗余数据,节省存储空间的目的。实际应用中还常常结合数据压缩技术进一步缩减数据分块所占的存储空间。现有重复数据删除技术的研究主要集中在挖掘冗余信息和提高效率上,对存储节点的管理和和空间分配只采用简单的分配管理策略;而对于存储空间分配时存储节点的负载和能耗状态等没有足够的考虑,不能自适应存储节点所处的各种状态,也不利于整个系统的负载均衡和性能提高。
技术实现思路
本专利技术的目的在于提供一种,该方法能够根据重复数据删除系统当前各存储节点的负载和能耗状态动态地分配存储空间,平衡各存储节点的工作负载,提高系统性能。本专利技术是通过以下方案实现的一种,包括以下步骤获取当前数据的分块,对分块进行哈希计算,以得到分块的哈希指纹,判断分块的哈希指纹是否存在于哈希指纹库中,若分块的哈希指纹存在于哈希指纹库中,则判断哈希指纹库中分块的引用数大于阈值本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员:黄建忠曹强万胜刚谢平韩帅军谢长生
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术