一种重复数据的删除方法及装置制造方法及图纸

本发明专利技术公开了一种重复数据的删除方法及装置，包括：在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，并判断所述读写频率是否大于预定阈值；若是，则将所述目标文件写入新分配的磁盘空间中；若否，则通过重复数据删除策略将所述目标文件写入新分配的磁盘空间。可见，在本实施例中通过将重复数据删除策略的执行与文件的读写频率相结合，对读写频次数较高的文件不对其执行重复数据删除操作，从而减少磁盘碎片，减少寻道时间，提高系统的性能，实现了更合理的删除重复数据。

【技术实现步骤摘要】
一种重复数据的删除方法及装置
本专利技术涉及计算机存储
，更具体地说，涉及一种重复数据的删除方法及装置。
技术介绍
随着IT技术的不断发展中，许多行业呈现出数字化迅猛发展趋势，信息存储的应用领域越来越广泛，加之云技术、云存储的应用，企业数据中心存储需求量越来越庞大，数据量呈指数级增长，已从以前的TB级上升到PB级，甚至EB级别。同时，研究表明，在应用系统所保存的数据中，大量的重复数据造成了存储资源的严重浪费，因此存储系统中数据高冗余问题受到越来越多的关注，如何缩减存储系统数据存储容量已经成为一个非常紧迫而且有必要的问题，而重复数据删除技术是其中一种容量优化技术，他通过查找文件中的重复数据块，然后将其用索引/元数据进行取代，也就是说不同文件或相同文件可以通过共享一份同样的数据块，将其与重复的数据块进行删除以达到减少存储容量的目的。基于块的重复数据删除是目前主流的重复数据删除方法，他是一种在线删除数据的方法，即不需要开辟空间缓存数据量，而是随着数据流的输入不断执行重复数据删除操作。然而这种在线重复数据删除方法同时存在很多问题，最主要的就是影响系统的性能，尤其是当数据量特别大时，在查本文档来自技高网...

【技术保护点】
一种重复数据的删除方法，其特征在于，包括：在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，并判断所述读写频率是否大于预定阈值；若是，则将所述目标文件写入新分配的磁盘空间中；若否，则通过重复数据删除策略将所述目标文件写入新分配的磁盘空间。

【技术特征摘要】
1.一种重复数据的删除方法，其特征在于，包括：在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，并判断所述读写频率是否大于预定阈值；若是，则将所述目标文件写入新分配的磁盘空间中；若否，则通过重复数据删除策略将所述目标文件写入新分配的磁盘空间；其中，将读写频率大于预定频率阈值的文件作为原始文件，并检测所述原始文件是否引用其他数据；若是，则检测所述原始文件的内存值及所述原始文件的引用数据的内存值；向所述原始文件分配目标内存空间，并将所述原始文件和所述原始文件的引用数据写入所述目标内存空间；其中，所述目标内存空间的内存值不小于所述原始文件的内存值与所述原始文件的引用数据的内存值之和。2.根据权利要求1所述的删除方法，其特征在于，通过重复数据删除策略将所述目标文件写入新分配的磁盘空间之后，包括：将文件读写频率表中的与所述目标文件相似的文件的读写次数加一。3.根据权利要求2所述的删除方法，其特征在于，还包括：检测内存中的哈希索引表的所占内存是否大于预定内存阈值；若是，则清除所述哈希索引表中比对次数小于预定次数阈值的哈希值数据。4.根据权利要求3所述的删除方法，其特征在于，还包括：遍历文件inode中的extent信息；判断每个extent所包含地址的数据的引用次数是否小于预定引用次数；若是，则从指纹库中删除引用次数小于预定引用次数的数据所对应的指纹信息，并将引用次数小于预定引用次数的数据的地址标记为未使用。5.一种重复数据的删除装置，其特征在于，包括：读写频率判断模块，用于在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，判断所述读写频率是否大于预...

【专利技术属性】
技术研发人员：刘相乐，杨敏，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11