一种基于可靠性的高性能文件系统混合节能存储系统及方法技术方案

一种基于可靠性的高性能文件系统混合节能存储系统和方法：包括中间层文件系统模块、热数据高速存储模块以及冷数据存储模块；本发明专利技术节能存储框架采用并行条块化的方式存储数据，保证了文件系统的高性能及高可靠性；同时能够对数据文件的访问量进行分类归纳为热数据、冷数据，并将访问率较高的热数据存入读写性能较高的数据存储模块，将访问率较低的冷数据存入读写性能一般的数据存储模块，在冷数据不被访问的时候关闭冷数据存储模块实现节能。该框架应用于访问率较为集中于部分数据的服务器及数据中心中时，可以获得很好的节能效果。

High performance file system hybrid energy-saving storage system and method based on Reliability

A high performance hybrid energy storage system and the file system method based on Reliability: including the intermediate file system module, data storage module and the cold heat of high speed data storage module; the invention saves energy storage using the framework of data storage in parallel striping way, to ensure the high performance and high reliability of the file system; at the same time to access to data files are classified as hot data, cold hot data, data and access rate is higher in the read data storage module to write high performance, the low rate of access to cold data stored in the data storage module to read and write performance in general, when not being accessed in cold data data storage module to achieve energy-saving cold shut down. When the framework is applied to servers and data centers with partial access to some data, a very good energy-saving effect can be achieved.

【技术实现步骤摘要】
一种基于可靠性的高性能文件系统混合节能存储系统及方法
本专利技术涉及一种混合节能存储框架，尤其是涉及一种基于可靠性的高性能文件系统混合节能存储系统及方法。
技术介绍
名词解释：PLFS文件系统：一款开源的并行检查点存储文件系统系统，本设计内使用的是根据其源码自力开发的文件系统。PVFS文件系统：一款提供RIAD-0系统结构的并行文件存储系统。随着科技的不断发展和技术的不断进步，硬件性能的不断提升，并行存储系统的性能也日新月异，尤其是并行存储系统的存取效率更是出类拔萃。但是并行存储系统性能的不断升级，并行的系统的规模的不断扩大，一些之前没有被关注的问题也渐渐浮现出来。其中，以并行存储系统的节能与可靠性的冲突问题尤为突出。磁盘所消费的能源仍然占有现代系统中一个突出的能源使用部分。在Web服务器中，磁盘通常占有24％的能源使用；而在proxy服务器则占有高达77％的比重。在一个典型的数据中心，存储设备能够占据高达27％的电能消耗。也有研究证明，有效的节能策略能够可观的降低磁盘能源消耗。但是，节能技术对系统的可靠性或多或少都有一定的影响，系统的可靠性的降低意味着系统更易于产生问题。因此，为了保证系统的可靠性需要在节能与可靠性之间达成最优的平衡，在实现节能的同时将对系统的可靠性造成的影响降到最低成了许多研究者致力的目标。同时，由于固态硬盘生产成本的逐渐降低，具有高随机读写性能及低能耗的固态硬盘在存储领域的竞争力随之增强，因此固态硬盘渐渐开始普及于日常生活中。然而，由于固态硬盘仍然较高的价格极其受可擦写次数限制的寿命原因，完全使用固态硬盘搭建的大型服务器和数据中心将耗费庞大的资金。因此，与其单纯地将机械硬盘替换为固态硬盘搭建服务器或数据中心，研究者们正致力于寻找将两者互补平衡其性能，可靠性以及存储成本的方法。
技术实现思路
本专利技术所要解决的技术问题，就是提供一种基于可靠性的高性能文件系统混合节能存储系统及方法，用于高性能文件系统基于可靠性的I/O读写性能优化及在此基础上实现节能，适用于服务器及数据中心的节能工作，在数据重复访问率较高的情况下有较好的效果。解决上述技术问题，本专利技术采用的技术方案如下：一种基于可靠性的高性能文件系统混合节能存储系统，其特征是：包括中间层文件系统和数据存储单元，所述数据存储单元包括热数据高速存储模块以及冷数据存储模块；所述的中间层文件系统包括定向模块，所述定向模块包括分类判断单元；所述分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据；热数据高速存储模块用于存储热数据，冷数据存储模块用于储存冷数据。进一步的改进，所述定向模块包括动态分类单元，所述动态分类单元用于根据数据的访问率重新划分热数据和冷数据。进一步的改进，所述中间层文件系统包括节能控制单元；所述节能控制单元用于计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式。进一步的改进，所述热数据高速存储模块包括第一PVFS文件系统以及并行的数块固态硬盘；第一PVFS文件系统用于接收中间层文件系统的热数据的读/写请求；固态硬盘负责将写入第一PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求；所述冷数据存储模块包括第二PVFS文件系统以及并行的数块机械硬盘；第二PVFS文件系统用于接收中间层文件系统的冷数据的读/写请求；机械硬盘负责将写入第二PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求。进一步的改进，所述热数据高速存储模块为热数据服务器，所述冷数据存储模块为冷数据服务器。进一步的改进，所述中间层文件系统包括PLFS文件系统，中间层文件系统分别与热数据高速存储模块以及冷数据存储模块相连接，连接方式为将中间层文件系统中的PLFS文件系统的数据存储后端设置为PVFS文件系统。进一步的改进，所述中间层文件系统还包括权限模块：负责保存及维护各个用户对文件的权限信息，用户访问的时候判断用户是否有权限；读写模块：负责处理用户的文件读写请求；存储模块：根据读写模块处理的读写请求存储文件数据；索引模块：负责维护用户存入文件数据的索引，方便处理读取操作时快速定位请求的文件。一种基于可靠性的高性能文件系统混合节能存储方法，包括如下步骤：步骤一、分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据，具体步骤如下：1)分析日志文件，对每个文件，记录一段时间T内被访问的次数n；2)将每个文件一段时间T1内被访问的次数由高到低排序；3)计算出一段时间T1内每个文件的访问频率R，R＝该文件被访问计数n/所有文件被访问总计数N；4)将访问频率R大于10％的文件分类为热数据，存入固态硬盘服务器，将访问频率R小于或等于10％的文件分类为冷数据，存入机械硬盘服务器；步骤二、动态分类单元根据数据的访问率重新划分热数据和冷数据，具体步骤如下：设定访问率阀值O，对于冷数据，若一段时间T2内访问次数计数高于阀值O，则将数据从冷数据移入热数据存储服务器；对于热数据，若一段时间T2内访问计数低于阀值O，则将热数据移入冷数据存储服务器；步骤三、节能控制单元计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式，具体步骤如下：Ⅰ.计算冷数据服务器的服务带宽BC，BC＝冷数据服务器硬盘数a*单块硬盘带宽b；Ⅱ.冷数据服务器开启时，持续计算冷数据带宽使用率RC，RC＝当前访问流量w/冷数据服务器带宽BC，并对其进行持续判断；Ⅲ.若经过一段时间T3，冷数据服务器的带宽使用率RC始终小于等于5％，则将冷数据服务器转入休眠模式，并记录期间对冷数据服务器的访问请求，当记录的访问请求数达到次数C，则将冷数据服务器转入活动模式响应累积的请求。进一步的改进，T1为86400*i秒，i为正整数，表示天数，一般i≤30(O为5％～10％；T2为3600～10800秒；T3为1200～2400秒；C为10～30。进一步的改进，包括如下步骤：一、用户访问的时候判断用户是否有权限，有权限则允许进行访问操作；二、接收用户的文件读写请求；三、根据读写请求存储文件数据并存储文件数据的索引；四、将文件数据划分为热数据和冷数据，并分别储存。本专利技术中的热数据高速存储模块中的PVFS文件系统下留有增加固态硬盘的扩展空间，可以根据实际需要，通过调整PVFS文件系统的设置可以实现PVFS文件系统下固态硬盘的增加或减少。本专利技术中的冷数据存储模块中的PVFS文件系统下留有增加机械硬盘的扩展空间，可以根据实际需要，通过调整PVFS文件系统的设置可以实现PVFS文件系统下机械硬盘的增加或减少。本专利技术中的中间层文件系统模块具备节能功能，它统计一段时间内中间层文件系统对冷数据存储模块的读写操作请求数，当一定时间内对冷数据存储模块没有访问时，控制冷数据存储模块关闭从而节约能耗。本专利技术优点：一、对冷数据存储模块的访问数较低的时间段，能够实现关闭冷数据存储模块实现节能。二、在实现节能的同时，通过热数据高速存储模块中及冷数据存储模块中的两个PVFS文件系统实现了数据的并行存储，保证了系统的可靠性。三、实现了固态硬盘与机械硬盘的混合存储架构，通过根据两种硬盘的不本文档来自技高网...

【技术保护点】
一种基于可靠性的高性能文件系统混合节能存储系统，其特征是：包括中间层文件系统和数据存储单元，所述数据存储单元包括热数据高速存储模块以及冷数据存储模块；所述的中间层文件系统包括定向模块，所述定向模块包括分类判断单元；所述分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据；热数据高速存储模块用于存储热数据，冷数据存储模块用于储存冷数据。

【技术特征摘要】
1.一种基于可靠性的高性能文件系统混合节能存储系统，其特征是：包括中间层文件系统和数据存储单元，所述数据存储单元包括热数据高速存储模块以及冷数据存储模块；所述的中间层文件系统包括定向模块，所述定向模块包括分类判断单元；所述分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据；热数据高速存储模块用于存储热数据，冷数据存储模块用于储存冷数据。2.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述定向模块包括动态分类单元，所述动态分类单元用于根据数据的访问率重新划分热数据和冷数据。3.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述中间层文件系统包括节能控制单元；所述节能控制单元用于计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式。4.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述热数据高速存储模块包括第一PVFS文件系统以及并行的数块固态硬盘；第一PVFS文件系统用于接收中间层文件系统的热数据的读/写请求；固态硬盘负责将写入第一PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求；所述冷数据存储模块包括第二PVFS文件系统以及并行的数块机械硬盘；第二PVFS文件系统用于接收中间层文件系统的冷数据的读/写请求；机械硬盘负责将写入第二PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求。5.根据权利要求4所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述热数据高速存储模块为热数据服务器，所述冷数据存储模块为冷数据服务器。6.根据权利要求4所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述中间层文件系统包括PLFS文件系统，中间层文件系统分别与热数据高速存储模块以及冷数据存储模块相连接，连接方式为将中间层文件系统中的PLFS文件系统的数据存储后端设置为PVFS文件系统。7.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述中间层文件系统还包括权限模块：负责保存及维护各个用户对文件的权限信息，用户访问的时候判断用户是否有权限；读写模块：负责处理用户的文件读写请求；存储模...

【专利技术属性】
技术研发人员：肖肇宇，殷树，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南,43