【技术实现步骤摘要】
本专利技术涉及一种数据块快速比较技术,具体地说是一种基于布鲁姆过滤器 的数据块快速比较系统。
技术介绍
在重复数据删除系统中,数据块比较是使用频度最高的操作,因为重复数 据删除的最重要的工作就是将数据块与数据池中的所有数据块相比较,以判断 其是否己存在于数据池中,若数据块已存在,则可方便的将数据块删除,并保 留一个指向数据池中相同数据块的指针,若数据块不存在,则将数据块插入数 据池中。传统的数据块比较方法, 一般采用数据块HASH散列标识的方式,即为数 据池中的每个数据块都保留一个唯一的HASH散列。比较数据块时先计算数据 块的HASH散列标识,然后与数据池中的数据块相比较,以判断数据块是否存 在于存储池中。但是这种HASH散列标识查询的复杂度一般是线性的或是对数 阶的,也就是说,当数据池的规模增大时,数据块的比较效率也会逐渐降低, 在大规模的重复数据删除系统中,这将对系统性能造成极大影响,导致系统运 行效率的降低。因此,如何使用一种数据块的快速比较技术,使数据块的比较效率与数据 池的规模无关,提高大规模系统的运行效率,是重复数据删除系统所面临的主 要问题。 ...
【技术保护点】
一种基于布鲁姆过滤器的数据块快速比较系统,其特征在于包括数据块比较接口模块、Bloom Filter数据块比较模块、数据块查询比较模块、BloomFilter元数据记录模块和数据池元数据记录模块;数据块比较接口模块连接Bloom Filter数据块比较模块,Bloom Filter数据块比较模块连接数据块查询比较模块、Bloom Filter元数据记录模块和数据池元数据记录模块,数据块查询比较模块连接数据池元数据记录模块。
【技术特征摘要】
【专利技术属性】
技术研发人员:王文方,
申请(专利权)人:浪潮电子信息产业股份有限公司,
类型:发明
国别省市:88[中国|济南]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。