一种基于混合存储系统的数据管理方法技术方案

技术编号:19488943 阅读:44 留言:0更新日期:2018-11-17 11:59
本发明专利技术涉及一种基于混合存储系统的数据管理方法,其特征在于,包括以下步骤:利用FUSE,在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统;利用PLFS所提供的multi‑backend功能,在一个用户态文件系统中挂载两个后端并行文件系统;由数据标记模块对用户的POSIX数据请求进行打标签;由文件系统选择模块根据数据标记模块对数据所打的标签进行操作。本发明专利技术:1)达到了显著的节能效果;2)保证了存储系统的可靠性;3)没有损坏数据的一致性。

【技术实现步骤摘要】
一种基于混合存储系统的数据管理方法
本专利技术涉及一种对数据中心内的数据进行管理的方法,尤其涉及一种基于混合存储系统的数据中心的数据的管理方法。
技术介绍
随着国内信息化建设的深入和移动互联网的发展,个人和企业所产生的数据量也越来越大,这也催生了许多公有或私有的云存储中心,例如企业网内部的私有云,落户贵州的苹果公司iCould数据中心等。但是越来越多的迹象表明,数据中心的能量消耗中超过27%是被存储设备所使用的。随着数据中心存储容量的急剧上升,存储设备所消耗的能量也在不断的增加。为了减少存储设备的能耗,达到经济和环境的双重优势,优化数据管理系统是非常必要的。传统的文件存储系统,主要是依靠调整机械磁盘(HardDiskDrive)的转速或挂起不在使用的机械磁盘,以达到节能的目的。但是经常性的启停机械磁盘或改变其转速,会严重影响它的寿命,对于数据的可靠性也十分不利。随着固态硬盘(SolidStateDrive)的出现,存储系统也开始将固态硬盘纳入其中。由于固态硬盘具有较高的随机读写性能以及低功耗的特点,这也为存储系统的发展提出了新的设计理念。文件存储系统开始依据存储介质进行层次化的划分,本文档来自技高网...

【技术保护点】
1.一种基于混合存储系统的数据管理方法,其特征在于,包括以下步骤:第一步、利用FUSE,在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统;第二步、利用PLFS所提供的multi‑backend功能,在一个用户态文件系统中挂载两个后端并行文件系统,其中一个后端系统用于存放热数据,定义为热数据后端系统,另外一个后端系统用于存放不常使用的冷数据,定义为冷数据后端系统;热数据后端系统与冷数据后端系统之间是相互独立的;第三步、由数据标记模块对用户的POSIX数据请求进行打标签,若写数据请求进入到系统中,根据数据的特征或者用户的配置信息,对此写数据请求中的数据打标签,决定其是热数据还是冷数...

【技术特征摘要】
1.一种基于混合存储系统的数据管理方法,其特征在于,包括以下步骤:第一步、利用FUSE,在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统;第二步、利用PLFS所提供的multi-backend功能,在一个用户态文件系统中挂载两个后端并行文件系统,其中一个后端系统用于存放热数据,定义为热数据后端系统,另外一个后端系统用于存放不常使用的冷数据,定义为冷数据后端系统;热数据后端系统与冷数据后端系统之间是相互独立的;第三步、由数据标记模块对用户的POSIX数据请求进行打标签,若写数据请求进入到系统中,根据数据的特征或者用户的配置信息,对此写数据请求中的数据打标签,决定其是热数据还是冷数据;若读数据请求进入系统中,根据用户的配置信息或者系统中记录,将此读数据请求中的数据标记为热数据或者冷数据;第四步、由文件系统选择模块根据数据标记模块对数据所打的标签,决定将数据存放在热数据后端系统中还是冷数据后端系统中;或者,文件系统选择模块根据数据标记模块对数据所打的标签,去对应的热数据后端系统或冷数据后端系统中取数据,并交付给读数据请求。2.如权利要求1所述的一种基于混合存储系统的数据管理方法,其特征在于,所述热数据后端系统与所述冷数据后端系统均为PVFS,且热数据后端系统管理的节点的存储介质为固态硬盘,而所述冷数据后端系统管理的节点的存储介质为机械磁盘。3.如权利要求1所述的一种基于混合存储系统的数据管理方法,其特征在于,在所述第三步中,所述数据标记模块...

【专利技术属性】
技术研发人员:殷树焦冰
申请(专利权)人:上海科技大学
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1