一种基于超融合系统的纵向扩展方法及其装置制造方法及图纸

本发明专利技术公开了一种基于超融合系统的纵向扩展方法及其装置，识别用户配置以匹配纵向扩展存储资源，配置第一存储层与第二存储层；将第一存储层中存储的满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移相关数据的访问地址；获取第二存储层中迁移相关数据与留在第一存储层中未迁移相关数据之间的关联系数，获取关联系数与迁移相关数据的地址排序值以及未迁移相关数据的访问频率的融合值，若融合值大于设定值则将迁移相关数据插入至未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。连续分区的读写操作可大大降低磁盘中的文件碎片，同时也能缩短文件的读取时间，提升系统性能。

A longitudinal extension method and its device based on the hyper fusion system

The invention discloses a method and device based on the vertical expansion of super fusion system, identify the user configuration to match the vertical expansion of storage resource allocation the first storage layer and the storage layer second; the relevant data will be stored in the first memory layer satisfying the preset conditions to migrate to the second storage layer for storage, transfer and update relevant data access to the address; obtaining the correlation coefficient between the data storage layer is not the first transfer of relevant data and in migration in the second memory layer, related data acquisition and transfer address correlation coefficient value and sort frequency data fusion is not moved to access the value, if the fusion value is greater than the set value will be inserted into the data migration related to after migration related data storage location of the next position, and update the migration data access address. The read and write operation of the continuous partition can greatly reduce the file fragmentation in the disk, and can also shorten the reading time of the file, and improve the performance of the system.

【技术实现步骤摘要】
一种基于超融合系统的纵向扩展方法及其装置
本专利技术涉及服务器存储
，更具体地说，它涉及一种基于超融合系统的纵向扩展方法及其装置。
技术介绍
超融合基础架构也被称为超融合架构，是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。超融合系统是基于超融合架构的系统，其横向扩展的扩展能力非常强，只要往集群中添加新的物理存储节点就可以实现计算资源和存储资源的扩展。由于超融合的横向扩展能力非常强，因而相对传统的架构具有更大的优势，但是很多购买了超融合系统的客户在经过半年或者一年的运行后，发现某个物理节点的存储资源已经不够了，但CPU、内存等计算资源则非常充足，而这就需要单独扩展存储资源，也即需要进行超融合系统的纵向扩展。通常商用的超融合系统在进行存储资源的纵向扩展后，由于超融合系统中用来做纵向扩展的节点的存储资源就要比其他非纵向扩展节点多得多，因而使得纵向扩展节点所能提供的存储容量也要比其他非纵向扩展节点大得多，但由于超融合系统并不会基于上述特点而优先将数据存储到纵向扩展节点下的存储资源中，而是将按照访问频率将访问频率低的数据存储在纵向扩展节点下的存储资源中，但是原存储资源由于被高频率访问而会产生大量的文件碎片，文件碎片指的是硬盘读写过程中产生的不连续文件。硬盘上非连续写入的档案会产生文件碎片，文件碎片会加长硬盘的寻道时间，影响系统效能。比如虚拟内存使用了硬盘，硬盘上便会产生文件碎片，所以磁盘碎片会加长硬盘的寻道时间，影响系统效能。
技术实现思路
本专利技术技术方案所解决的技术问题为，如何降低超融合系统纵向扩展并将高访问频率数据优选存放至纵向扩展节点后，高频访问数据而产生的文件碎片。为实现上述目的，本专利技术技术方案提供了一种基于超融合系统的纵向扩展方法，包括：识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据插入至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。进一步的，所述关联系数为读取所述未迁移相关数据后继续读取所述迁移相关数据的概率；所述融合值为所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值。进一步的，所述识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层包括：监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件；若监测结果满足条件则将所述第一存储层中存储的满足所述预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移的所述相关数据的访问地址。进一步的，将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址包括：则将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件；若满足进行数据迁移的条件，则将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。进一步的，所述监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件包括：监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小于所述第二阈值。为了解决上述技术问题，本专利技术技术方案还提供了一种基于超融合系统的纵向扩展装置，包括：匹配模块，用于识别用户配置以匹配纵向扩展存储资源，并将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；第一迁移模块，用于将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；第二迁移模块，用于获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据插入至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。进一步的，所述第二迁移模块还包括计算单元，所述计算单元用于计算所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值以得出所述融合值。进一步的，所述匹配模块还包括：监测单元，用于监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件。进一步的，所述第一迁移模块还包括：分区单元，用于若监测结果满足条件则将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；迁移单元，将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。进一步的，所述迁移单元还包括判断子单元，所述判断子单元用于监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小于所述第二阈值。本专利技术技术方案的有益效果至少包括：（1）超融合系统包括自身的第一存储层与进行存储资源纵向扩展的第二存储层，通过第二存储层进而达到了纵向扩容扩展存储空间以及充分利用每个物理节点的CPU和内存资源的目的。此外，通过数据迁移处理，将第一存储层中满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移的相关数据的访问地址，进而避免扩容的第二存储层成为超融合系统的存储性能瓶颈，从而使得超融合系统的整体性能得到了提升；（2）获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，根据融合值来将第二资源层中可能会被第一资源层中未迁移相关数据直接调用的迁移相关数据插入至未迁移相关数据之后，从而在未迁移相关数据被调用后在一定几率中无需在第二资源层中搜索并读写，直接以未迁移相关数据的地址向后进一个分区地址进行操作，连续分区的读写操作可大大降低磁盘中的文件碎片，同时也能缩短文件的读取时间。附图说明图1为本专利技术实施例一的方法流程示意图；图2为本专利技术实施例一S100的方法流程示意图；图本文档来自技高网...

【技术保护点】
一种基于超融合系统的纵向扩展方法，其特征在于，包括：识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据迁移至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

【技术特征摘要】
1.一种基于超融合系统的纵向扩展方法，其特征在于，包括：识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据迁移至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。2.根据权利要求1所述的方法，其特征在于，所述关联系数为读取所述未迁移相关数据后继续读取所述迁移相关数据的概率；所述融合值为所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值。3.根据权利要求2所述的方法，其特征在于，所述识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层包括：监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件。4.根据权利要求3所述的方法，其特征在于，将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址包括：将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；若监测结果满足条件则将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。5.根据权利要求4所述的方法，其特征在于，所述监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件包括：监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小...

【专利技术属性】
技术研发人员：史中伟，
申请(专利权)人：南京宏海科技有限公司，
类型：发明
国别省市：江苏,32