【技术实现步骤摘要】
本专利技术涉及数据存储与处理，尤其涉及一种重复数据删除方法和过滤器。
技术介绍
1、目前，网络中的数据总量呈现指数级增长，这不仅需要耗费越来越多的网络带宽传输数据，同时还需占用巨大的数据存储空间。为降低计算机数据存储系统和计算机网络的总体拥有成本，企业纷纷开始采用重复数据删除技术。
2、重复数据删除(data deduplication)技术目前已成为计算机系统领域的一项主流且极为重要的技术。其工作原理为从数据流中识别出重复数据，只保留重复数据的一个备份，删除其它冗余数据，在删除重复数据的位置以指针引用，从而节约大量的数据存储空间或网络带宽。
3、为了满足海量数据备份可扩展的性能需求，在内存中使用高效的数据结构或算法加速索引查询、避免访问磁盘，实现快速的重复数据删除起到至关重要的作用。
4、然而现有的加速索引查询的技术在重复数据删除系统中工作时存在很多问题：如插入向量时无法分辨插槽是否为空；查询效率低下且不稳定；大量的重定位操作导致插入性能的下降；内存开销过大等。
技术实现
本文档来自技高网...【技术保护点】
1.一种重复数据删除方法，其特征在于，包括步骤：
2.根据权利要求1所述的重复数据删除方法，其特征在于，所述查询所述向量是否存在于与所述候选桶相关联的结构数据库中，包括步骤：
3.根据权利要求2所述的重复数据删除方法，其特征在于，将所述向量插入到对应的所述候选桶中的方法包括步骤：
4.根据权利要求3所述的重复数据删除方法，其特征在于，选择其中一个所述候选桶作为目标插入桶的方法包括步骤：
5.根据权利要求4所述的重复数据删除方法，其特征在于，将所述向量插入到对应的所述候选桶中的方法还包括步骤：
6.根据权利要求...
【技术特征摘要】
1.一种重复数据删除方法，其特征在于，包括步骤：
2.根据权利要求1所述的重复数据删除方法，其特征在于，所述查询所述向量是否存在于与所述候选桶相关联的结构数据库中，包括步骤：
3.根据权利要求2所述的重复数据删除方法，其特征在于，将所述向量插入到对应的所述候选桶中的方法包括步骤：
4.根据权利要求3所述的重复数据删除方法，其特征在于，选择其中一个所述候选桶作为目标插入桶的方法包括步骤：
5.根据权利要求4所述的重复数据删除方法，其特征在于，将所述向量插入到对应的所述候选桶中的方法还包括步骤：
6.根据权利要求4所述的重复数据删除方法，其特征在于，将所述向量插入到对应的所述候选桶中的方法还包括步骤：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。