一种基于混合存储系统的数据管理方法技术方案

本发明专利技术涉及一种基于混合存储系统的数据管理方法，其特征在于，包括以下步骤：利用FUSE，在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统；利用PLFS所提供的multi‑backend功能，在一个用户态文件系统中挂载两个后端并行文件系统；由数据标记模块对用户的POSIX数据请求进行打标签；由文件系统选择模块根据数据标记模块对数据所打的标签进行操作。本发明专利技术：1)达到了显著的节能效果；2)保证了存储系统的可靠性；3)没有损坏数据的一致性。

【技术实现步骤摘要】
一种基于混合存储系统的数据管理方法
本专利技术涉及一种对数据中心内的数据进行管理的方法，尤其涉及一种基于混合存储系统的数据中心的数据的管理方法。
技术介绍
随着国内信息化建设的深入和移动互联网的发展，个人和企业所产生的数据量也越来越大，这也催生了许多公有或私有的云存储中心，例如企业网内部的私有云，落户贵州的苹果公司iCould数据中心等。但是越来越多的迹象表明，数据中心的能量消耗中超过27％是被存储设备所使用的。随着数据中心存储容量的急剧上升，存储设备所消耗的能量也在不断的增加。为了减少存储设备的能耗，达到经济和环境的双重优势，优化数据管理系统是非常必要的。传统的文件存储系统，主要是依靠调整机械磁盘(HardDiskDrive)的转速或挂起不在使用的机械磁盘，以达到节能的目的。但是经常性的启停机械磁盘或改变其转速，会严重影响它的寿命，对于数据的可靠性也十分不利。随着固态硬盘(SolidStateDrive)的出现，存储系统也开始将固态硬盘纳入其中。由于固态硬盘具有较高的随机读写性能以及低功耗的特点，这也为存储系统的发展提出了新的设计理念。文件存储系统开始依据存储介质进行层次化的划分，将热点数据存储在固态硬盘上，将不常使用的数据(即冷数据)存放在机械磁盘上，不仅能够达到对热点数据快速读写的要求，也能够达到一定程度的节能效果，这就是所谓的混合存储系统。不过不同的存储介质的引入，对文件系统的管理提出了更高的要求，也带来了对于数据分布均衡以及数据一致性的挑战。而传统的混合存储系统，对于磁盘的寿命的影响比较显著，频繁地启停机械磁盘会导致磁盘状态不稳定，减少磁盘寿命，严重的情况会导致数据丢失。
技术实现思路
本专利技术的目的：实现并行与分布式存储系统的高性能低功耗的基础上，满足数据一致性要求。为了达到上述目的，本专利技术提供了一种基于混合存储系统的数据管理方法。该方法主要有以下特点：(1)设计了数据标记模块。该模块支持POSIX标准，对I/O数据请求进行标签标注。考虑到大多数情况下存储系统以数据读取为主，该数据标签模块根据应用的I/O访问模式，标记读数据的冷热特性；对于新写入的数据，该标记模块自动将其标记为热数据，当热数据存放不下时，再依据LRU机制将最近最少使用的热数据标记为冷数据；(2)设计了文件系统选择模块。该模块基于数据标记模块为各数据标准的标签信息，为其选择合适的底层文件系统。该模块为热数据选择由SSD固态盘组成的高速低功耗并行文件系统，为冷数据选择由传统HDD磁盘组成的大容量低成本并行文件系统，旨在平衡存储系统I/O性能和功耗。另外，考虑到固态盘和磁盘的寿命差别，该设计同时考虑了存储系统的可靠性问题；(3)设计对用户和底层系统透明的中间层实现方案，利用用户态文件系统FUSE，将本专利技术所涉存储系统挂载于已有成熟并行文件系统之上，在用户态管理POSIX数据请求。该方案在不修改应用程度代码和文件系统内核代码的前提下实现了数据的管理，具有较强的兼容性和可一致性；(4)设计同时挂载两个文件系统的方案，实现独立管理冷热数据的目的。基于中间层PLFS对于多个后端文件系统挂载点的支持能力，将本专利技术所涉混合存储系统挂载于两个后端并行文件系统，其中一个用于存放热数据(定义为热数据后端系统)；另外一个用于存放不常使用的冷数据(定义为冷数据后端系统)。冷热数据后端系统分别由独立并行文件系统管理，以确保两者间的相互独立性；本专利技术所涉混合存储系统方案可通过API接口支持如Lustre、PVFS和Ceph等现有常见并行文件系统。优选地，冷、热数据后端存储系统均挂在PVFS并行文件系统，其中热数据后端存储系统管理SSD固态硬盘，冷数据后端存储系统管理传统HDD机械磁盘。优选地，所述数据标记模块优先根据用户对冷热数据的定义进行标签标注，若无无相关信息，则对于数据的冷热标记根据以下两种方案之一进行：方案一：所有新写入的数据被默认为冷数据，由所述文件系统选择模块将数据存放在所述冷数据后端存储系统中，同时记录应用程序对于数据的访问频率，触发预设的阈值是，数据标记模块将当前数据标记为热数据，并由所述文件系统选择模块将当前数据迁移至所述热数据后端存储系统。数据迁移过程可描述为：从冷数据后端存储系统读数据，写入热数据后端存储系统，由于两个存储系统分别由两个PVFS并行文件系统独立管理，迁移过程可简化为数据的复制过程；方案二：所有新写入的数据被默认为热数据，由所述文件系统选择模块将数据存放在所述热数据后端系统中，同时记录数据的访问频率，所述数据标记模块根据LRU最近最少使用机制，将访问频率最低的数据标记为冷数据，由所述文件系统选择模块将冷数据转移到所述冷数据后端存储系统中。优选地，还包括以下两种数据转移方案：方案一：所有数据存储在所述冷数据后端存储系统中，热数据后端存储系统作为缓存使用：当数据从冷变热时，仅热数据被复制到所述热数据后端存储系统中；当数据从热变冷时，相应热数据直接从所述热数据后端存储系统中删除即可；方案二：所有数据在系统中只存在一份，若数据由冷变热时，则将此数据移动到所述热数据后端存储系统中，所述冷数据后端存储系统中不在保留原版本；若数据由热变冷时，则将此数据移动到所述冷数据后端存储系统中，并删除在所述热数据后端存储系统中的版本。本专利技术：1)达到了显著的节能效果。通过对底层分布式文件系统所在节点的操作，例如待机或临时关机，可以显著地降低数据中心的能耗。平均一台存储节点的功率在400W左右，通过待机或者临时关机的方式，可以将此节点的功率降低到50W(待机)或0W(关机)。2)保证了存储系统的可靠性。通过挂载不同的底层分布式文件系统，由于每个分布式系统相互独立，不会因为数据的迁移或某部分数据的损坏而影响整个存储系统的可靠性。3)确保了数据的一致性。本专利技术只会对数据进行分类、数据整理及数据重分布，这些功能以中间件的形式实现，用户可以选择不使用该功能。数据存放落盘到存储介质的过程，都交给所挂载的底层分布式文件系统进行处理。所以此专利技术并不会损坏数据的一致性。附图说明图1为本专利技术的流程图。具体实施方式为使本专利技术更明显易懂，兹以优选实施例，并配合附图作详细说明如下。如图1所示，本专利技术提供的一种基于混合存储系统的数据管理方法包括以下技术方案：利用FUSE(FilesysteminUserspace)，在系统中挂载一个用户态文件系统，用于管理用户的POSIXI/O请求。传统环境下，用户或应用程序调用标准POSIX接口之后，操作系统会切换到内核态，并执行相关的系统调用对这些请求进行处理，而FUSE可以将该请求从内核态再度调度到用户态中进行处理。使用FUSE的优势在于其支持新设计的文件系统在不修改操作系统内核代码的基础上，仅通过用户态即可参与传统文件系统的相关操作，简化了新型文件系统的设计复杂度。同时增加了开发者的自主性，减少了对于内核的改动，对于维护系统稳定性非常有好处。本专利技术所设计的混合存储系统利用PLFS(ParallelLog-structuredFileSystem)对多存储后端的支持功能，在一个用户态文件系统中挂载多个后端并行文件系统，实现了用户态的混合存储系统。本专利技术主要利用此功能，挂载两个后端并行文件系统，其中一个后端存储系统用于存放热数据(本文档来自技高网...

【技术保护点】
1.一种基于混合存储系统的数据管理方法，其特征在于，包括以下步骤：第一步、利用FUSE，在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统；第二步、利用PLFS所提供的multi‑backend功能，在一个用户态文件系统中挂载两个后端并行文件系统，其中一个后端系统用于存放热数据，定义为热数据后端系统，另外一个后端系统用于存放不常使用的冷数据，定义为冷数据后端系统；热数据后端系统与冷数据后端系统之间是相互独立的；第三步、由数据标记模块对用户的POSIX数据请求进行打标签，若写数据请求进入到系统中，根据数据的特征或者用户的配置信息，对此写数据请求中的数据打标签，决定其是热数据还是冷数据；若读数据请求进入系统中，根据用户的配置信息或者系统中记录，将此读数据请求中的数据标记为热数据或者冷数据；第四步、由文件系统选择模块根据数据标记模块对数据所打的标签，决定将数据存放在热数据后端系统中还是冷数据后端系统中；或者，文件系统选择模块根据数据标记模块对数据所打的标签，去对应的热数据后端系统或冷数据后端系统中取数据，并交付给读数据请求。

【技术特征摘要】
1.一种基于混合存储系统的数据管理方法，其特征在于，包括以下步骤：第一步、利用FUSE，在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统；第二步、利用PLFS所提供的multi-backend功能，在一个用户态文件系统中挂载两个后端并行文件系统，其中一个后端系统用于存放热数据，定义为热数据后端系统，另外一个后端系统用于存放不常使用的冷数据，定义为冷数据后端系统；热数据后端系统与冷数据后端系统之间是相互独立的；第三步、由数据标记模块对用户的POSIX数据请求进行打标签，若写数据请求进入到系统中，根据数据的特征或者用户的配置信息，对此写数据请求中的数据打标签，决定其是热数据还是冷数据；若读数据请求进入系统中，根据用户的配置信息或者系统中记录，将此读数据请求中的数据标记为热数据或者冷数据；第四步、由文件系统选择模块根据数据标记模块对数据所打的标签，决定将数据存放在热数据后端系统中还是冷数据后端系统中；或者，文件系统选择模块根据数据标记模块对数据所打的标签，去对应的热数据后端系统或冷数据后端系统中取数据，并交付给读数据请求。2.如权利要求1所述的一种基于混合存储系统的数据管理方法，其特征在于，所述热数据后端系统与所述冷数据后端系统均为PVFS，且热数据后端系统管理的节点的存储介质为固态硬盘，而所述冷数据后端系统管理的节点的存储介质为机械磁盘。3.如权利要求1所述的一种基于混合存储系统的数据管理方法，其特征在于，在所述第三步中，所述数据标记模块...

【专利技术属性】
技术研发人员：殷树，焦冰，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海,31