一种统一管理的、基于策略的低功耗归档分析系统技术方案

本发明专利技术特别涉及一种统一管理的、基于策略的低功耗归档分析系统及方法，该统一管理的、基于策略的低功耗归档分析系统及方法通过将整个离线资源池化，提供统一的命名空间，实现存储资源集中式离线管理；通过在归档分析系统中依据策略智能设置数据冷热，在虚拟层面进行整个集群的功耗控制，并结合上下电或MAID等节电技术，实现系统的智能化供电，从而一方面保证有读请求到来时可提供及时的读取数据能力，另一方面保证整个集群的低功耗运行。本发明专利技术方法简单有效，不仅很好地解决了大规模离线存储资源管理的问题，还通过调度节电技术解决了系统整体最优的问题。

【技术实现步骤摘要】
一种统一管理的、基于策略的低功耗归档分析系统
本专利技术属于计算机存储领域，特别涉及服务器集群和元数据集群管理技术，具体涉及一种低功耗归档分析系统。适用于归档和对集群功耗有特殊要求的场景。
技术介绍
在互联网、物联网、云计算和大数据等快速发展的大环境下，企业正面临着海量数据的归档和分析时的能耗问题。由于在很多场景下需要对历史归档数据做在线或离线分析，因此传统的磁带归档方式无法满足性能的要求。使用磁盘形成大规模集群的方式可以一定程度上解决归档和分析的访问性能问题，但是功耗问题相对于磁带方案成为了一个严重的问题，目前已有可控制设备上下电和控制磁盘是否工作的节电技术(如，MAID等)，控制设备上下电技术可通过硬件控制物理设备开机和关机，可实现远程控制和无人值守，方便对物理设备进行节电控制，但控制范围为单一物理节点，并不能进行整个集群的全局节电管理；MAID技术可控制磁盘的工作时间，使磁盘只有在需要的时候才上电工作，其他时间可处于断电状态，达到省电的目的，但此技术只能对磁盘进行控制，同样不能对整个集群进行全局节电控制。当离线存储资源规模达到PB或者EB之后，如何管理海量离线资源，如何控制节电技术以达到满足正常访问性能的前提下系统整体功耗最低就成了一个问题。因此我们提出了一种统一管理的、基于策略智能适应的低功耗归档系统及方法，来管理海量离线存储资源并在满足数据分析性能的前提下尽可能降低归档系统的整体功耗。传统归档系统一般采用磁带来实现，正常状态下所有的磁带都放置在磁带库的槽位中，需要某盘磁带时才将它放在磁带机中，然后进行数据读写。而在大部分时间，大多数磁带是处在非工作状态的。这种方式虽然节能，但无法快速响应应用的请求。
技术实现思路
本专利技术要解决的技术问题是：如何高效管理大规模离线存储资源和如何高效调度节电技术以达到归档分析系统整体最优。本专利技术针对上述问题，提出一种统一管理的、基于策略的低功耗归档分析系统，包含如下组成部分：系统调度模块、资源管理模块、节电模块、策略管理模块、元数据管理模块、离线资源池、物理存储设备集群；物理存储设备集群包含若干物理设备；系统调度模块负责接收和处理上层发送来的请求并负责调度节电模块；物理设备资源管理模块实现对物理存储设备集群的物理存储资源统一管理，将所有物理存储资源虚拟化为一个离线资源池；离线资源池被划分为n个资源子池，n为大于0的整数，每个资源子池对应不同的物理存储资源，由资源管理模块对物理存储资源进行动态划分和管理；节电模块调用物理设备的上下电功能或者MAID功能实现物理存储资源的节电控制；策略管理模块中包含m个节电策略，m为大于0的整数，系统根据应用特征智能选择节电策略；元数据管理模块管理元数据服务器集群，实现元数据与数据分离，提高系统整体归档和回迁性能。具体的，系统对物理存储设备集群采用全局统一命名空间，每个所述资源子池可独立的支持归档和回迁任务。具体的，物理存储设备集群在离线资源池层实现节电控制，而非直接对物理存储资源进行节电控制，做到节电控制的全局化和虚拟化，支持在虚拟化层根据应用特征智能变更节电策略，实现全局性能和能耗的最优化配置。具体的，节电策略为基于数据冷热的虚拟层能耗控制，策略将要访问的数据块设置为热，并调用节电模块将其所在的资源子池中的物理存储设备设置为工作状态，不访问或者访问过的资源子池中的物理存储设备设置为非工作状态，达到在虚拟存储层进行系统整体节电控制。具体的，归档过程的节电控制，当归档请求发起时，先由系统调度模块捕获该请求，通过查询元数据服务器确定该请求的写入位置，假设写入位置位于资源子池1步骤一、将写入的数据块1到数据块i设置为热数据；步骤二、调用节电模块将资源子池1中的物理存储资源，设置为工作状态；步骤三、当资源子池1被写到水位后，调用节电模块提前启动另一个资源子池，此时假设是资源子池2；步骤四、当资源子池1被写满后，其物理存储资源被设置为非工作状态，由资源子池2继续提供服务，已经写完的数据被设置为冷数据；步骤五、如此循环直到资源子池n结束服务，实现在虚拟资源池层面的间接能耗控制，而非物理层面的直接能耗控制。具体的，回迁过程的节电控制，包括如下步骤：步骤一、当回迁请求发起时，先由系统调度模块捕获该请求，通过查询元数据服务器确定待回迁数据所在资源子池，此时假设回迁数据位于资源子池1；步骤二、将待读取的数据设置为热数据；步骤三、调用节电模块将资源子池1中的物理存储资源设置为工作状态；步骤四、回迁结束后再通过节电模块将资源子池1中的物理存储资源设置为非工作状态，并将已经读完的数据设置为冷数据。步骤五、如此循环直到资源子池n结束服务，实现在虚拟资源池层面的间接能耗控制，而非物理层面的直接能耗控制。具体的，系统提供策略可编程接口，用户可以根据任务特征对节电模块的调度进行编程，动态可控的安排资源子池的工作状态转换和调整节电模块的使用策略，从而按需控制系统能耗。本专利技术的优点与积极效果在于：(1)通过全局统一命名空间集中式管理离线存储资源，实现资源的统一调度和支配，提升大规模离线存储资源的管理效率；(2)根据可配置的策略在虚拟层智能设置数据冷热，从而结合上下电或MAID等节电技术实现离线归档系统低功耗运行，实现全局性能和能耗最优；(3)通过在虚拟存储层调用节电模块来实现物理设备的功耗控制，而非直接控制物理设备，从而可以有效结合各种节电技术实现具体物理设备的功耗控制，增强了系统的节电策略的可扩展性和灵活性。附图说明图1是本专利技术系统结构图；图2是归档过程节电控制；图3是回迁过程节电控制；图4是无交叉的任务并发节电控制；图5是有交叉的任务并发节电控制；图6是资源子池分配实例。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术提供了一种统一管理的、基于策略的低功耗归档分析系统，用于解决大规模离线存储资源统一管理和通过高效调度节电技术以实现系统整体最优的问题。本专利技术所采用的技术主要是：对整个集群采用全局统一命名空间，将所有存储资源整合为一个离线资源池，并将离线资源池划分为n(n为大于0的整数)个资源子池，实现在虚拟存储层对存储资源的统一管理和划分，如图1所示。每个资源子池可独立的支持归档和回迁任务，从而使得整个系统可支持多任务并发执行，提高了系统整体归档和回迁性能；对整个集群在虚拟存储层进行节电控制，根据应用特征智能选择或配置节电策略。默认策略为基于数据冷热的虚拟层能耗控制。策略将要访问的数据块设置为热，并调用节电模块将其所在的资源子池中的物理存储设备设置为工作状态；不访问或者访问过的资源子池中的物理存储设备设置为非工作状态，达到在虚拟存储层进行系统整体节电控制。如图1所示，为本专利技术所提供系统及方法的系统结构图，由系统调度模块、资源管理模块、节电模块、策略管理模块、元数据管理模块、离线资源池、物理存储设备集群等组成。物理存储设备集群包含若干物理设备。系统调度模块负责接收和处理上层发送来的请求并负责调度节电模块。资源管理模块实现物理资源的统一管理，将所有存储资源虚拟化为一个离线资源池。离线资源池被划分为n(n为大于0的整数)个资源子池，每个资源子池对应不同的物理存储资源，由资源管理模块对存储资源进行动态划分和管理。节电模块调用物理设备的上下电功能或者本文档来自技高网...

【技术保护点】
1.一种统一管理的、基于策略的低功耗归档分析系统，其特征在于，包含如下组成部分：系统调度模块、资源管理模块、节电模块、策略管理模块、元数据管理模块、离线资源池、物理存储设备集群；物理存储设备集群包含若干物理设备；系统调度模块负责接收和处理上层发送来的请求并负责调度节电模块；物理设备资源管理模块实现对物理存储设备集群的物理存储资源统一管理，将所有物理存储资源虚拟化为一个离线资源池；离线资源池被划分为n个资源子池，n为大于0的整数，每个资源子池对应不同的物理存储资源，由资源管理模块对物理存储资源进行动态划分和管理；节电模块调用物理设备的上下电功能或者MAID功能实现物理存储资源的节电控制；策略管理模块中包含m个节电策略，m为大于0的整数，系统根据应用特征智能选择节电策略；元数据管理模块管理元数据服务器集群，实现元数据与数据分离，提高系统整体归档和回迁性能。

【技术特征摘要】
1.一种统一管理的、基于策略的低功耗归档分析系统，其特征在于，包含如下组成部分：系统调度模块、资源管理模块、节电模块、策略管理模块、元数据管理模块、离线资源池、物理存储设备集群；物理存储设备集群包含若干物理设备；系统调度模块负责接收和处理上层发送来的请求并负责调度节电模块；物理设备资源管理模块实现对物理存储设备集群的物理存储资源统一管理，将所有物理存储资源虚拟化为一个离线资源池；离线资源池被划分为n个资源子池，n为大于0的整数，每个资源子池对应不同的物理存储资源，由资源管理模块对物理存储资源进行动态划分和管理；节电模块调用物理设备的上下电功能或者MAID功能实现物理存储资源的节电控制；策略管理模块中包含m个节电策略，m为大于0的整数，系统根据应用特征智能选择节电策略；元数据管理模块管理元数据服务器集群，实现元数据与数据分离，提高系统整体归档和回迁性能。2.根据权利要求1所述的一种统一管理的、基于策略的低功耗归档分析系统，其特征在于：元数据服务器集群有2台元数据服务器，元数据服务器以HA方式运行，元数据服务器(1)和元数据服务器(2)被配置为镜像模式。3.根据权利要求1所述的一种统一管理的、基于策略的低功耗归档分析系统，其特征在于：系统对所述物理存储设备集群采用全局统一命名空间，每个所述资源子池可独立的支持归档和回迁任务。4.根据权利要求1所述的一种统一管理的、基于策略的低功耗归档分析系统，其特征在于：整个物理存储设备集群在离线资源池层实现节电控制，而非直接对物理存储资源进行节电控制，做到节电控制的全局化和虚拟化，支持在虚拟化层根据应用特征智能变更节电策略，实现全局性能和能耗的最优化配置。5.根据权利要求4所述的基于策略的低功耗归档分析系统，其特征在于：所述节电策略为基于数据冷热的虚拟层能耗控制，策略将要访问的数据块设置为热，并调用节电模块将其所在的资源子池中的物理设备设置为工作状态，不访问或者访问过的资源子池中的物理设备设置为非工作状态，达到在虚拟存储层进行系统整体节电控制。6.根据权利...

【专利技术属性】
技术研发人员：伍江江，李军，宋宝泉，陈浩，陈宏盛，杜春，景宁，钟志农，陈荦，熊伟，吴烨，张强，吴慧海，许鲁，
申请(专利权)人：中国人民解放军国防科技大学，天津中科蓝鲸信息技术有限公司，
类型：发明
国别省市：湖南,43