一种提高数据加载速率的混合存储系统及混合存储方法技术方案

一种提高数据加载速率的混合存储系统及混合存储方法，属于存储系统领域，包括：硬盘存储单元，连接上位机，用于采用多档转速输出存储数据；高性能存储单元，连接硬盘存储单元和上位机；统计单元，连接硬盘存储单元和高性能存储单元；控制单元，连接硬盘存储单元、高性能存储单元及统计单元；每个传输的周期包括自学习阶段、实践阶段及校正阶段三个阶段。本发明专利技术的有益效果：改用可调转速的硬盘存储单元，在一个传输周期中的不同阶段采用不同的传输方法和控制方法，解决了现有的混合存储系统中因用户行为改变或统计单元中的自学习算法不准确而导致预提取结果不准确的问题，有效提高数据加载速率。

【技术实现步骤摘要】
一种提高数据加载速率的混合存储系统及混合存储方法
本专利技术涉及存储系统
，尤其涉及一种提高数据加载速率的混合存储系统及混合存储方法。
技术介绍
目前很多存储系统中使用的是高转速的硬盘驱动器(HardDiskDrive,HDD)，使其能够保持工作在高性能状态下。然而，系统I/O实际工作在高速吞吐速率状态下的时间只是很小的一部分。有资料分析表明，在现有的大容量存储系统中，99％的时间里系统I/O的实际吞吐速率不到其最高吞吐速率的33％，而在70％的时间里系统I/O的实际吞吐速率不到其最高吞吐速率的5％，这就造成了高转速HDD很大一部分性能的浪费，也使得HDD的功耗过高，大大增加了使用成本。也就是说HDD在绝大部分时间里是不需要保持高转速的。为了减小功耗的浪费，使用低转速的HDD是一种解决办法，但前提是不影响存储系统的性能，甚至反而能够进一步提升该系统的性能。因此，在现有技术中出现了一种I/O敏感的混合存储系统，如图1所示，该系统主要包括高性能存储单元、低转速HDD单元、统计单元和控制单元四个组成部分。统计单元具有自学习功能，也就是可以在一个固定的时间段内记录各个程序的运行情况，并根据程序的运行情况对用户的行为进行统计分析，进而得到不同用户不同应用在不同时间段的数据传输特征，然后控制单元可以根据这些数据传输特征，复用那些存储带宽利用率低的时间将上位机需要用高带宽和高I/O速率进行传输的数据预先从低转速HDD单元提取到高性能存储单元中，当上位机需要这些数据时，就可以直接在高性能存储单元中读取而不需要通过低转速HDD单元，正是由于预提取策略的存在，因此该混合存储系统可以使用低转速的HDD，且低转速的HDD足以应对上位机获取其他(不需要利用高带宽和高I/O速率进行传输)数据的操作。因此，该系统使用低转速的HDD就达到了减小功耗的目的，而且由于高性能存储单元的读写速度比HDD(即使是高转速)要快得多，所以该系统相对于全部使用高转速HDD的存储系统来说性能还会有所提升。然而，用户对应用程序的使用行为并不是一成不变的，不同的用户不同的应用程序在不同的时间段的数据传输特征很有可能会发生变化，而且统计单元所使用的自学习算法有时也会出现误差，以至于不能准确地获得用户的数据特征，从而导致自学习结果不准确，这些都会给预提取的结果带来影响。如果经过一定时间(这个时间大于自学习的时间)后，用户的行为发生了改变，或者是自学习算法存在一定的误差，那么就会造成上位机需要的部分数据并没有被预提取到高性能存储单元中，即这部分数据在高性能存储单元中丢失(Miss)，因而当上位机需要这部分数据时还得再一次地访问HDD，而在如图1所示的混合存储系统中HDD为低转速，上位机要获取这些数据就会花费比较长的时间，使得系统性能降低，而且功耗也很有可能增加。如果这部分在高性能存储器中丢失的数据比较多，那么这个带有自学习和预提取技术的混合存储系统相比于传统的存储系统不但不能降低功耗、提升性能，反而还会增加功耗、降低性能，效果适得其反。这里先定义一个参数：丢失数据比例(miss_rate_ratio)，即本应被预提取到高性能存储器中而实际却没有被提取的数据占所有应被提取的数据的比例。假定所有应被预提取的数据用A表示，本应被预提取到高性能存储器中而实际却并没有被预提取的数据用B表示，那么miss_rate_ratio为：假设在传统存储架构情况下(包括使用单一高转速HDD的存储系统如图2所示或者在高转速的HDD上添加缓存(Cache)的混合存储系统如图3所示)，当上位机需要数据A时，此时HDD的转速应为高转速X，假设此时从HDD传输数据A到上位机的时间为ΔT1，那么ΔT1为：其中，IOPSX为HDD转速为X时的I/O传输速率。根据图1提出的混合存储架构，当用户对应用程序的使用行为发生了改变，或者是由于统计单元所使用的自学习算法本身所存在的误差，此时HDD的转速为低转速Y，那么此时从HDD传输数据B(A*miss_rate_ratio)到上位机的时间为ΔT2，那么ΔT2为：因此，如果不对系统性能造成损失，那么ΔT2必须小于ΔT1，也就是说对于图1所示的混合存储架构来说，在不对系统性能造成损失的前提下，有一个最大可允许的miss_rate_ratio，其为：当用户行为发生变化或者由于自学习算法的不准确性造成miss_rate_ratio比miss_rate_ratiomax小时，此时图1所示的混合存储系统并不会给系统性能带来损害，但当用户行为发生变化或者由于自学习算法的不准确性造成miss_rate_ratio比miss_rate_ratiomax大时，就会给系统的性能带来损害。从公式(4)我们可以看出对应不同的转速，系统所能允许的最大的miss_rate_ratio是不一样的。综上所述，现有的混合存储系统中可能出现因用户行为改变或统计单元中的自学习算法不准确而导致预提取结果不准确。
技术实现思路
针对现有技术中存在的混合存储系统中可能出现的因用户行为改变或统计单元中的自学习算法不准确而导致预提取结果不准确的问题，本专利技术提供了一种提高系统数据加载速率的混合存储系统及方法，旨在解决上述问题的同时保留其低功耗和高性能的优势。本专利技术采用如下技术方案：一种提高数据加载速率的混合存储系统，所述混合存储系统连接上位机，所述混合存储系统用于将预存的存储数据以一预设时间段为周期输出至所述上位机，所述周期包括依次设置的自学习阶段、时间阶段及校正阶段，所述存储数据包括第一存储数据和第二存储数据，所述第一存储数据的传输宽带和I/O速率低于所述第二存储数据的传输带宽和I/O速率，所述混合存储系统的工作状态包括空闲状态和繁忙状态，所述空闲状态时系统的存储带宽利用率低于所述繁忙状态时系统的存储带宽利用率；所述混合存储系统包括：硬盘存储单元，所述硬盘存储单元连接所述上位机，用于采用多档转速输出所述存储数据，所述多档转速包括第一转速及大于所述第一转速的第二转速；高性能存储单元，所述高性能存储单元连接所述硬盘存储单元和所述上位机，用于从所述硬盘存储单元获取所述存储数据并采用第三转速输出，所述第三转速大于所述多档转速；统计单元，所述统计单元连接所述硬盘存储单元和所述高性能存储单元，用于通过自学习获取所述混合存储系统在所述自学习阶段的第一数据传输特性、在所述实践阶段的第二数据传输特性及在所述校正阶段的第三数据传输特性；控制单元，所述控制单元连接所述硬盘存储单元、所述高性能存储单元及所述统计单元，用于在自学习阶段控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机，并在繁忙状态下采用所述第二转速输出所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第一数据传输特性；以及用于在实践阶段根据所述第一数据传输特性控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机和输出所述第二存储数据至所述高性能存储单元，并在繁忙状态下控制所述高性能存储单元输出已接收的所述第二存储数据至所述上位机随后控制所述硬盘存储单元采用所述第一转速输出所述高性能存储单元未接收的所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第二数据传输特性；以及用于在本文档来自技高网...

【技术保护点】
一种提高数据加载速率的混合存储系统，所述混合存储系统连接上位机，其特征在于，所述混合存储系统用于将预存的存储数据以一预设时间段为周期输出至所述上位机，所述周期包括依次设置的自学习阶段、时间阶段及校正阶段，所述存储数据包括第一存储数据和第二存储数据，所述第一存储数据的传输宽带和I/O速率低于所述第二存储数据的传输带宽和I/O速率，所述混合存储系统的工作状态包括空闲状态和繁忙状态，所述空闲状态时系统的存储带宽利用率低于所述繁忙状态时系统的存储带宽利用率；所述混合存储系统包括：硬盘存储单元，所述硬盘存储单元连接所述上位机，用于采用多档转速输出所述存储数据，所述多档转速包括第一转速及大于所述第一转速的第二转速；高性能存储单元，所述高性能存储单元连接所述硬盘存储单元和所述上位机，用于从所述硬盘存储单元获取所述存储数据并采用第三转速输出，所述第三转速大于所述多档转速；统计单元，所述统计单元连接所述硬盘存储单元和所述高性能存储单元，用于通过自学习获取所述混合存储系统在所述自学习阶段的第一数据传输特性、在所述实践阶段的第二数据传输特性及在所述校正阶段的第三数据传输特性；控制单元，所述控制单元连接所述硬盘存储单元、所述高性能存储单元及所述统计单元，用于在自学习阶段控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机，并在繁忙状态下采用所述第二转速输出所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第一数据传输特性；以及用于在实践阶段根据所述第一数据传输特性控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机和输出所述第二存储数据至所述高性能存储单元，并在繁忙状态下控制所述高性能存储单元输出已接收的所述第二存储数据至所述上位机随后控制所述硬盘存储单元采用所述第一转速输出所述高性能存储单元未接收的所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第二数据传输特性；以及用于在校正阶段根据所述第二数据传输特性控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机和输出所述第二存储数据至所述高性能存储单元，并在繁忙状态下控制所述高性能存储单元输出已接收的所述第二存储数据至所述上位机随后控制所述硬盘存储单元采用所述第二转速输出所述高性能存储单元未接收的所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第三数据传输特性；所述第三输出特性作为第一数据传输特性应用于实践阶段。...

【技术特征摘要】
1.一种提高数据加载速率的混合存储系统，所述混合存储系统连接上位机，其特征在于，所述混合存储系统用于将预存的存储数据以一预设时间段为周期输出至所述上位机，所述周期包括依次设置的自学习阶段、时间阶段及校正阶段，所述存储数据包括第一存储数据和第二存储数据，所述第一存储数据的传输宽带和I/O速率低于所述第二存储数据的传输带宽和I/O速率，所述混合存储系统的工作状态包括空闲状态和繁忙状态，所述空闲状态时系统的存储带宽利用率低于所述繁忙状态时系统的存储带宽利用率；所述混合存储系统包括：硬盘存储单元，所述硬盘存储单元连接所述上位机，用于采用多档转速输出所述存储数据，所述多档转速包括第一转速及大于所述第一转速的第二转速；高性能存储单元，所述高性能存储单元连接所述硬盘存储单元和所述上位机，用于从所述硬盘存储单元获取所述存储数据并采用第三转速输出，所述第三转速大于所述多档转速；统计单元，所述统计单元连接所述硬盘存储单元和所述高性能存储单元，用于通过自学习获取所述混合存储系统在所述自学习阶段的第一数据传输特性、在所述实践阶段的第二数据传输特性及在所述校正阶段的第三数据传输特性；控制单元，所述控制单元连接所述硬盘存储单元、所述高性能存储单元及所述统计单元，用于在自学习阶段控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机，并在繁忙状态下采用所述第二转速输出所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第一数据传输特性；以及用于在实践阶段根据所述第一数据传输特性控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机和输出所述第二存储数据至所述高性能存储单元，并在繁忙状态下控制所述高性能存储单元输出已接收的所述第二存储数据至所述上位机随后控制所述硬盘存储单元采用所述第一转速输出所述高性能存储单元未接收的所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第二数据传输特性；以及用于在校正阶段根据所述第二数据传输特性控制所述硬盘存储单元在空闲状态下采用所述第一转速输出所述第一存储数据至所述上位机和输出所述第二存储数据至所述高性能存储单元，并在繁忙状态下控制所述高性能存储单元输出已接收的所述第二存储数据至所述上位机随后控制所述硬盘存储单元采用所述第二转速输出所述高性能存储单元未接收的所述第二存储数据至所述上位机，并用于控制所述统计单元获取所述第三数据传输特性；所述第三输出特性作为第一数据传输特性应用于实践阶段。2.如权利要求1所述的混合存储方法，其特征在于，所述硬盘存储单元为应用大规模非活动磁盘阵列技术的由多个磁盘构成的磁盘阵列。3.如权利要求2所述的混合存...

【专利技术属性】
技术研发人员：景蔚亮，杜源，陈邦明，
申请(专利权)人：上海新储集成电路有限公司，
类型：发明
国别省市：上海,31