【技术实现步骤摘要】
面向存储架构的重复数据删除方法、装置及可读介质
[0001]本专利技术涉及重删领域，具体涉及一种面向存储架构的重复数据删除方法、装置及可读介质。
技术介绍
[0002]数据密集型应用不断增长的数据量给存储系统带来了巨大的压力，其不仅消耗了大量的存储空间，而且还造成了I/O访问的拥挤。作为一个有效的数据减少方案，实时重删操作已经被集成到现有的存储系统中，从而减少存储系统的数据存储压力，并提高存储系统访问性能。重删利用抗碰撞的哈希算法来计算每个输入数据的唯一指纹，以识别它是否与存储中的数据重复，传统重复数据删除技术如图1所示。
[0003]为了获得更好的性能，现代存储系统通常在存储系统层次结构中采用缓存架构。具体做法是将高速的缓存设备置于DRAM和主存储之间。由于闪存固态硬盘的读写访问性能优于机械硬盘，因此，固态硬盘已被广泛采用作为存储系统缓存设备，而机械硬盘凭借其大容量的特征而被用作主存储设备。通过将实时重删操作集成到存储系统中，可以进一步提高存储设备的性能和寿命，同时减少对固态硬盘的磨损。然而，随着新型的非易失性存储...
【技术保护点】
【技术特征摘要】
1.一种面向存储架构的重复数据删除方法，其特征在于，包括以下步骤：构建内存缓存协同的源地址索引结构和指纹索引桶结构，所述源地址索引结构包括具有源地址桶结构的临时索引缓存、中度访问源地址索引结构、冷访问源地址索引结构和频繁访问源地址索引结构，所述指纹索引桶结构包括具有指纹桶结构的指纹索引结构、历史指纹索引结构、历史指纹布隆过滤器结构和计数布隆过滤器；获取访问数据，根据所述访问数据在所述源地址索引结构和指纹索引桶结构中查找，根据查找结果进行重复数据删除操作。2.根据权利要求1所述的面向存储架构的重复数据删除方法，其特征在于，所述根据所述访问数据在所述源地址索引结构和指纹索引桶结构中查找，根据查找结果进行重复数据删除操作，具体包括：获取访问数据的源地址和数据内容，并根据所述数据内容计算得到指纹信息；根据所述指纹信息在所述指纹索引桶结构中查找，根据查找结果在所述指纹索引桶结构中进行索引条目的迁移管理；响应于确定在所述指纹索引桶结构中存在与所述指纹信息相同的指纹信息，则将所述访问数据的源地址信息更新至所述源地址索引结构中，同时不进行数据写入；响应于确定在所述指纹索引桶结构中不存在与所述指纹信息相同的指纹信息，则根据所述访问数据的指纹信息生成新的索引条目，并添加在所述指纹索引桶结构中；根据所述访问数据的源地址在所述源地址索引结构中查找，根据查找结果在所述源地址索引结构中进行索引条目的迁移管理；响应于确定在所述源地址索引结构中存在与所述源地址相同的源地址，则将所述源地址索引结构中的所述源地址所对应的缓存物理地址更新至所述访问数据的源地址所对应的缓存物理地址；响应于确定在所述源地址索引结构中不存在与所述源地址相同的源地址，则根据所述访问数据的源地址及其对应的缓存物理地址生成新的索引条目，并添加在所述源地址索引结构中。3.根据权利要求2所述的面向存储架构的重复数据删除方法，其特征在于，所述根据所述指纹信息在所述指纹索引桶结构中查找，根据查找结果在所述指纹索引桶结构中进行索引条目的迁移管理，具体包括：依次查找指纹索引结构、历史指纹索引结构及历史指纹布隆过滤器，直至所述指纹信息命中其中一个索引结构；当所述指纹信息命中所述指纹索引结构，则将其对应索引条目移动至频繁访问源地址索引结构；当所述指纹信息命中历史指纹索引结构，则将其对应索引条目移动至指纹索引结构；当所述指纹信息命中历史指纹布隆过滤器，则将其对应索引条目移动至指纹索引结构；当新的索引条目加入至指纹索引结构且指纹索引结构空间已满，则将指纹索引结构中热度计数最低的索引条目移动至历史指纹索引结构；当新的索引条目加入至历史指纹索引结构且历史指纹索引结构空间已满，则将历史指纹索引结构中热度计数最低的索引条目移动至历史指纹布隆过滤器中。4.根据权利要求1所述的面向存储架构的重复数据删除方法，其特征在于，根据所述访
问数据的源地址在所述源地址索引结构中查找，根据查找结果在所述源地址索引结构中进行索引条目的迁移管理，具体包括依次查找频繁访问源地址索引结构、临时索引缓存、中度访问源地址索引结构及冷访问源地址索引结构，直至所述访问数据的源地址命中其中一个索引结构；当源地址命...
【专利技术属性】
技术研发人员：高聪明，陈仁辉，张天萌，舒继武，李乔，吴荣鑫，张一鸣，沈志荣，向乔，
申请(专利权)人：厦门大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。