【技术实现步骤摘要】
本专利技术涉及计算机系统及海量存储系统，具体地说是。
技术介绍
由于磁盘技术近年来的快速发展，一些企业和用户也倾向于使用大容量的磁盘来进行备份或者归档。传统的备份策略往往会在存储设备的磁盘空间里面产生大量的冗余数据，消耗了大量不必要的磁盘空间，造成设备资源的浪费；而且因为太多的冗余数据，造成磁盘搜索定位时间的延长，也降低了系统的整体性能。重复数据删除解决了这些问题，它将要备份的数据进行比对，如果有相同的数据则以一个连接或指向来替代，这样不仅节约了数据存储所需要的存储空间，而且因为数据量的减少，也降低了磁盘的定位时间。它不仅有效的控制了数据的急剧增长，也增加了有效存储空间，提高了存储效率，节省了存储的总成本和管理成本，同时也节省了数据传输的网络带宽，节省了空间、电力供应等运维成本。但是使用重复数据删除技术也有缺点，它需要比对，所以增加了计算以及校验的时间；它需要存储Hash索引，而内存与磁盘速率的严重失衡就会增加检验的耗时；数据分块技术的分块大小，对系统中重复数据的删除精确性也存在影响。本方法针对现存方法的缺陷进行了改进，具有更快的校验速度、更小的数据块粒度以及更...
【技术保护点】
一种适用于海量存储系统的重复数据删除方法,?其特征在于使用4KB?8KB的块大小对数据流进行分块，这样极小的块就能够确保极高的重复数据删除率，能够较精确的进行重复数据的定位删除；而针对HDD磁盘与内存RAM之间数据传输率的差异而导致的性能影响，通过使用SSD重新构建存储的架构，作为RAM与RAID阵列之间的中转，这样不仅能够提高检索的速率，而且也提高了数据的存储速率，在新的数据块Hash值到来需要进行验证的时候，RAM读取存储在SSD中的Hash索引，以SSD比HDD高出3倍的实际数据传输速率，便得系统的性能得到保证，使用4KB?8KB的小块所产生的相对较大的Hash索引表...
【技术特征摘要】
【专利技术属性】
技术研发人员：梁吉林，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。