一种数据均衡方法及存储设备技术

本发明专利技术公开了一种数据均衡方法，包括：分别统计存储设备中各磁盘的热数据量，以及，确定各磁盘的热数据均衡值；将第一类磁盘中的热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值。本发明专利技术还提供一种可以实现上述数据均衡方法的存储设备。本发明专利技术解决了磁盘承载IO请求不均的情况，可以使得各磁盘处理IO请求所用时间基本相同，能够提高存储设备响应IO请求的速度。

【技术实现步骤摘要】
一种数据均衡方法及存储设备
本专利技术涉及存储
，尤其涉及一种数据均衡方法及存储设备。
技术介绍
软件定义存储是未来的趋势，而大部分软件定义存储都是基于分布式架构的存储，包括近几年流行起来的超融合架构，其采用的存储也是分布式架构的存储，这种架构的一个好处是扩容非常方便，而且很多做软件定义存储的厂商都宣称独立于硬件，不跟硬件绑定，这就给了用户自己采购硬件的灵活性，在提供硬件灵活性的同时，磁盘的异构也成为一个不得不面对的问题。异构存储是指在一个存储系统中同时采用多种型号的磁盘，例如同时采用了7200每分钟转速(roundperminute，简称rpm)、容量为4TB和1TB的两种型号的磁盘。如果把磁盘上存储的数据按照一定的大小切成数据块，例如64KB，不同的数据块被访问的频率并不相同，一些数据块被频繁访问，被频繁访问的这块数据也称为热数据，另一些数据块被访问的次数很少，这些数据被称为冷数据。当一个异构存储设备接收到输入/输出(Input/Output，简称IO)指令时，由于IO指令主要针对热数据，因此在读写数据的过程中，存储大量热数据的磁盘比从存储少量热数据的磁盘要承载更多的IO请求。通常情况下，4TB磁盘存储的热数据量会是1TB磁盘的4倍，即表明4TB磁盘的IO请求是1TB磁盘的近似4倍。由于硬盘的技术原因，7200rpm的4TB磁盘跟7200rpm的1TB磁盘在性能上近似，因此4TB磁盘处理IO请求所用时间是1TB磁盘处理IO请求所用时间的4倍，可见，大容量的磁盘是整个存储设备的瓶颈。
技术实现思路
本专利技术提供了一种数据均衡方法以及存储设备，解决了各磁盘处理IO请求所用时间不等的情况，能够提高存储设备响应IO请求的速度。本专利技术第一方面提供一种数据均衡方法，该方法应用于存储设备，存储设备具有至少两种磁盘，至少两种磁盘的容量和/或磁盘读写速度不同，该数据均衡方法包括：分别统计存储设备中每个磁盘的热数据量，热数据量为热数据占用存储空间的大小；确定存储设备中每个磁盘的热数据均衡值；将第一类磁盘中的目标热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。在一种可能的实现方式中，该数据均衡方法还包括：创建热队列，热队列用于存储热数据，热数据的访问频率不小于第一预设频率；分别统计存储设备中每个磁盘的热数据量包括：根据存储设备中每个磁盘在热队列中的数据块，确定磁盘的热数据量。在另一种可能的实现方式中，确定存储设备中每个磁盘的热数据均衡值包括：获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。在另一种可能的实现方式中，确定存储设备中每个磁盘的热数据均衡值包括：获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与第一目标磁盘的热数据存储权值成正相关性；根据总数据量、热数据比例、第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储权值和为存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。在另一种可能的实现方式中，将第一类磁盘中热数据迁移到第二类磁盘包括：将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；确定第二目标磁盘与第二目标磁盘的热数据均衡值的差值，第二目标磁盘为第二类磁盘中的任意一个磁盘；从目标热数据集合中选取差值对应的目标热数据，将选取的目标热数据迁移到第二目标磁盘。在另一种可能的实现方式中，该数据均衡方法还包括：创建温队列以及冷队列，温队列用于存储温数据，冷队列用于存储冷数据，温数据的访问频率小于第一预设频率且不小于第二预设频率，冷数据的访问频率小于第二预设频率，第一预设频率大于第二预设频率。根据IO指令，调整存储设备中各队列的数据块。在另一种可能的实现方式中，根据IO指令调整存储设备中各队列的数据块包括：接收主机下发的IO指令；若IO指令指定的数据块为温数据，则将IO指令指定的数据块从温队列存入热队列；若IO指令指定的数据块为冷数据，则将IO指令指定的数据块从冷队列存入温队列。在另一种可能的实现方式中，在将IO指令指定的数据块从温队列存入热队列之后，该数据均衡方法还包括：若热队列存储的数据块的数量超过热队列的长度，则从热队列中选取待调热数据，将待调热数据移动到温队列。在另一种可能的实现方式中，在将IO指令指定的数据块从冷队列存入温队列之后，数据均衡方法还包括：若温队列存储的数据块的数量超过温队列的长度，则从温队列中选取待调温数据，将待调温数据移动到冷队列。第二方面提供一种存储设备，存储设备具有至少两种磁盘，至少两种磁盘的容量和/或磁盘读写速度不同，存储设备包括：统计模块，用于分别统计存储设备中每个磁盘的热数据量，热数据量为热数据占用存储空间的大小；确定模块，用于确定存储设备中每个磁盘的热数据均衡值；迁移模块，用于将第一类磁盘中的目标热数据迁移到第二类磁盘，直至第一类磁盘存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。在一种可能的实现方式中，存储设备还包括：创建模块，用于创建热队列，热队列用于存储热数据，热数据的访问频率不小于第一预设频率；统计模块具体用于根据存储设备中每个磁盘在热队列中的数据块，确定磁盘的热数据量。在另一种可能的实现方式中，确定模块具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。在另一种可能的实现方式中，确定模块具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与目标磁盘的热数据存储权值成正相关性；根据总数据量、热数据比例、第一目标数据的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。在另一种可能的实现方式中，迁移模块具体用于将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；确定第二目标磁盘与第二目标磁盘的热数据均衡值的差值，第二目标磁盘为第二类磁盘中的任意一个磁盘；从目标热数据集合中选取差值对应的目标热数据，将选取的目标热数据迁移到第二目标磁盘。在另一种可能的实现方式中，创建模块，还用于创建温队列以及冷队列，温队列用于存储温数据，冷队列用于存储冷数据，温数据的访本文档来自技高网...

【技术保护点】
一种数据均衡方法，其特征在于，所述方法应用于存储设备，所述存储设备具有至少两种磁盘，所述至少两种磁盘的容量和/或磁盘读写速度不同，所述方法包括：分别统计存储设备中每个磁盘的热数据量，所述热数据量为热数据占用存储空间的大小；确定所述存储设备中每个磁盘的热数据均衡值；将第一类磁盘中的热数据迁移到第二类磁盘，直至所述存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，所述第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，所述第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。

【技术特征摘要】
1.一种数据均衡方法，其特征在于，所述方法应用于存储设备，所述存储设备具有至少两种磁盘，所述至少两种磁盘的容量和/或磁盘读写速度不同，所述方法包括：分别统计存储设备中每个磁盘的热数据量，所述热数据量为热数据占用存储空间的大小；确定所述存储设备中每个磁盘的热数据均衡值；将第一类磁盘中的热数据迁移到第二类磁盘，直至所述存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，所述第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，所述第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：创建热队列，所述热队列用于存储热数据，所述热数据的访问频率不小于第一预设频率；所述分别统计存储设备中每个磁盘的热数据量包括：分别根据存储设备中每个磁盘在所述热队列中的数据块，确定各磁盘的热数据量。3.根据权利要求2所述的方法，其特征在于，所述确定所述存储设备中每个磁盘的热数据均衡值包括：获取所述存储设备的总数据量、磁盘数量以及热数据比例，所述热数据比例为存储设备中热数据总量与总数据量之比；根据所述总数据量、所述磁盘数量以及所述热数据比例计算得到热数据均衡值，并将所述热数据均衡值作为各磁盘的热数据均衡值。4.根据权利要求2所述的方法，其特征在于，所述确定所述存储设备中每个磁盘的热数据均衡值包括：获取所述存储设备的总数据量、磁盘数量以及热数据比例，所述热数据比例为存储设备中热数据总量与总数据量之比；根据第一目标磁盘的磁盘读写速度，确定所述第一目标磁盘的热数据存储权值，所述第一目标磁盘的磁盘读写速度与所述第一目标磁盘的热数据存储权值成正相关性；根据所述总数据量、所述热数据比例、所述第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，所述存储权值和为存储设备中各磁盘的热数据存储权值之和，所述第一目标磁盘为所述存储设备中的任意一个磁盘。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述将第一类磁盘中热数据迁移到第二类磁盘包括：将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，所述目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；确定第二目标磁盘的热数据量与所述第二目标磁盘的热数据均衡值的差值，所述第二目标磁盘为所述第二类磁盘中的任意一个磁盘；从所述目标热数据集合中选取所述差值对应的目标热数据，将选取的目标热数据迁移到所述第二目标磁盘。6.根据权利要求2至4中任一项所述的方法，其特征在于，所述方法还包括：创建温队列以及冷队列，所述温队列用于存储温数据，所述冷队列用于存储冷数据，所述温数据的访问频率小于所述第一预设频率且不小于第二预设频率，所述冷数据的访问频率小于所述第二预设频率，所述第一预设频率大于所述第二预设频率；根据IO指令，调整所述存储设备中各队列的数据块。7.根据权利要求6所述的方法，其特征在于，所述根据IO指令，调整所述存储设备中各队列的数据块包括：接收主机下发的IO指令；若所述IO指令指定的数据块为温数据，则将所述IO指令指定的数据块从所述温队列存入所述热队列；若所述IO指令指定的数据块为冷数据，则将所述IO指令指定的数据块从所述冷队列存入所述温队列。8.根据权利要求7所述的方法，其特征在于，在所述将所述IO指令指定的数据块从所述温队列存入所述热队列之后，所述方法还包括：若所述热队列存储的数据块的数量超过热队列的长度，则从所述热队列中选取待调热数据，将待调热数据移动到所述温队列。9.根据权利要求7所述的方法，其特征在于，在所述将所述IO指令指定的数据块从所述冷队列存入所述温队列之后，所述方法还包括：若所述温队列存储的数据块的数量超过所述温队...

【专利技术属性】
技术研发人员：张国军，
申请(专利权)人：深圳市深信服电子科技有限公司，
类型：发明
国别省市：广东,44