【技术实现步骤摘要】
一种堆叠式重复数据删除文件系统
本专利技术涉及计算机存储领域,具体涉及一种基于堆叠式文件系统技术实现的重复数据删除文件系统。
技术介绍
在大型存储系统中,数据急速增长与存储设备升级相对缓慢的矛盾较为尖锐,为了缓解存储系统的空间增长问题,缩减数据占用的空间,降低成本,最大化利用已有资源,重复数据删除技术已经成为大型系统中必不可少的关键技术。通过使用重复数据删除技术,用户可以获得明显的数据缩减效果,可以大大降低存储系统的带宽需求,降低运营成本和维护成本。通过数据缩减使得后端实际的存储容量大大缩减,由此带来了更简洁的存储管理,有效降低了管理成本。然而目前流行的重复数据删除方案,多为面向近线存储和备份存储的重删方案,而且往往与备份系统紧密结合,因而无法提供一般性的文件系统服务。能够在在线系统中直接提供重复数据删除功能的产品较少,且均需要使用专有的文件系统格式,这些专有的文件系统往往在性能、功能、可靠性、可扩展性方面均存在诸多限制,使得在大型在线存储系统中直接应用存在一定困难。已有的大型存储系统往往基于成熟的文件系统构建,如ext3、ext4、xfs、lustre等,这类文件系统本身并不具备重复数据删除的功能,而如果要使用重复数据删除功能,则面临着需要使用专有的文件系统,忍受明显可感知的性能降低,并进行大规模的数据迁移,这带来极高的时间和空间成本,在已经有大量数据的存储系统中,基本上没有可行性,成本过闻。针对这一现状,本专利技术设计了一种堆叠式重复数据删除文件系统,能够基于已有的成熟的文件系统提供重复数据删除功能,充分保持原有存储系统的性能,同时几乎不需要进 ...
【技术保护点】
一种堆叠式重复数据删除文件系统,其特征在于包括:文件系统服务模块,对于正常的数据,采用直接接口转换的方式将底层文件系统的数据导入本文件系统中;对于进行了重复数据删除的数据,读取相应的数据属性标识,进行IO流程的重定向,实现重删后数据的透明无缝访问;重删服务模块,读取文件系统服务模块导出的文件系统日志数据,解析日志内容后进行数据签名的计算、重复数据的检测和删除,完成重删后对数据进行标识。
【技术特征摘要】
1.一种堆叠式重复数据删除文件系统,其特征在于包括: 文件系统服务模块,对于正常的数据,采用直接接口转换的方式将底层文件系统的数据导入本文件系统中;对于进行了重复数据删除的数据,读取相应的数据属性标...
【专利技术属性】
技术研发人员:王恩东,文中领,张立强,孟圣智,
申请(专利权)人:浪潮北京电子信息产业有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。