一种数据段迁移方法及系统技术方案

本申请公开一种数据段迁移方法，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发目标数据段向上一层级或者向下一层级迁移；若触发目标数据段向上一层级迁移，则将目标数据段按照上一层级中的数据段大小进行拆分，同时在目标层级中保留目标数据段的副本；若触发目标数据段向所述下一层级迁移，则将目标数据段与下一层级中的母体数据段进行合并，同时在目标层级中删除目标数据段。不仅提高数据段的大小对热点数据的识别精度，还能够有效地降低数据分级功能的元数据量和管理性能开销。本申请还公开了一种数据段迁移系统。

Method and system for migrating data segment

The disclosed method includes a data transfer section: according to the total storage space, each level of metadata storage space and data access statistics to calculate the heat of each level of the data segment size; select at least one target data segment in the target level, judge whether to trigger the target data segment to the next level or next level migration; if the trigger transfer target data segment to a level, the target data segment is split according to a hierarchy of data segment size, while preserving the target data segment in the target side level; if the trigger target data segment to the next level of migration, the parent data target data segment and the next level of merger, and delete target data segment in the target level. It not only improves the recognition accuracy of the data segment to the hot spot data, but also can effectively reduce the metadata and the management performance of the data classification function. The invention also discloses a data segment migration system.

【技术实现步骤摘要】

本专利技术涉及数据存储
，更具体地说，涉及一种数据迁移方法，还涉及一种数据迁移系统。
技术介绍
随着互联网数据量的急剧增长，人们对存储系统的容量和性能提出了越来越高的要求，现代的存储系统不仅需要大容量，还要满足高吞吐率、高IOPS和IO访问低延迟。然而，目前存储系统的性能仍然受限于存储系统使用最多的存储介质传统机械式硬盘(Hard Disk Driver，简称HDD)，传统机械式硬盘由于其固有物理特性，其随机访问的性能差。近年出现的固态存储器(Solid Storage Driver，简称SSD)，如Flash存储器、固态盘和PCM等，正好弥补了传统HDD随机访问性能差的缺点，基于闪存技术的SSD读写延迟较小，对数据随机访问提供了很好的支持。而由于SSD速度越来越快，容量越来越大，存储系统中开始使用SSD与HDD构成混合存储系统，将存储系统中访问频繁的数据和文件存放到SSD中，以充分发挥SSD的优势，这就形成了分级存储系统。例如一种典型的分级存储系统，从上到下划分为如下3个层级：SSD层、SAS磁盘层，NL-SAS磁盘层，三个层级从上到下容量依次递增，性能依次递减。传统分级存储系统中，会将系统中所有存储空间划分为相同大小的数据段，并以数据段为基本粒度进行数据访问的热度统计。根据预先定义的一系列规则，将数据访问热度较高的数据段由当前层级向上迁移到性能较高的层级中，将数据访问热度较低的数据段由当前层级向下迁移到性能较低的层级中。在这种分级存储系统中，数据段的大小成为系统性能和开销两个指标之间平衡的关键因素：数据段较大时，数据访问热度的统计信息等元数据较少，数据分级的管理开销也较少，但对热点数据的识别精度较差，较高性能的层级中会存储一些访问热度较低的数据，且数据段在层级间迁移时获得的性能收益较少，因为数据段迁移时必不可少的迁移了一部分不必要的数据。数据段较小时，情况则刚好相反，对热点数据的识别精度较好，但对数据分级的管理开销较大。因此，现有技术中分级存储方法无法同时兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销。因此，如何同时兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销是本领域技术人员急需要解决的技术问题。
技术实现思路
为解决上述技术问题，本专利技术提供一种，通过在分级存储系统中的不同层级使用与该层级相匹配大小的数据段，能够兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销。为实现上述目的，本专利技术提供如下技术方案：一种数据段迁移方法，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。优选的，在上述数据段迁移方法中，若触发所述目标数据段向上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，具体包括：在所述上一层级中查找是否有用于存储所述目标数据段的存储空间；如果有，则在所述上一层级中分配多个子数据段，所述多个子数据段的大小之和与所述目标数据段大小相同；将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本。优选的，在上述数据段迁移方法中，将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本之后，还包括：根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息。优选的，在上述数据段迁移方法中，更新所述多个子数据段的数据访问热度统计信息之后，还包括：记录所述目标数据段的编号以及所述子数据段在所述目标数据段中的索引。优选的，在上述数据段迁移方法中，若触发所述目标数据段向下一层级迁移，则将所述目标数据段与所述目标数据在所述下一层级中所属的母数据段进行合并，同时在所述目标层级中删除所述目标数据段，具体包括：在所述下一层级中查找是否有用于存储所述目标数据段的存储空间；如果有，查找所述目标数据在所述下一层级中所属的母数据段，并将所述目标数据段复制至所述母数据段中，并根据所述目标数据段中的关于与所述母数据段的索引值将所述目标数据段放在对应的位置；在所述目标层级中删除所述目标数据段。优选的，在上述数据段迁移方法中，在所述目标层级中删除所述目标数据段之后，还包括：根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。本专利技术还提供了一种数据段迁移系统，包括：数据段大小计算模块，用于根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；迁移判断模块，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；迁移触发模块，用于触发所述目标数据段向所述上一层级或所述下一层级迁移；迁移执行模块，用于将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，或，用于将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。优选的，在上述数据段迁移系统中，还包括：数据段热度统计模块，用于统计每个层级中的所有数据段的数据访问热度统计信息；存储空间查找模块，用于在所述上一层级中查找是否有用于存储所述目标数据段的存储空间，或，用于在所述下一层级中查找是否有用于存储所述目标数据段的存储空间。优选的，在上述数据段迁移系统中，还包括：更新模块，用于根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息，或，用于根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。优选的，在上述数据段迁移系统中，所述迁移执行模块包括：拆分单元，用于将所述目标数据段按照所述子数据段的大小进行拆分；第一复制单元，用于将拆分后的目标数据段依次复制到所述子数据段中；第二复制单元，用于将所述目标数据段复制至所述母数据段中；索引单元，用于查找所述目标数据在所述下一层级中所属的母数据段，根据所述目标数据段中的关于与所述母数据段的索引值将所述目标数据段放在对应的位置。从上述技术方案可以看出，本专利技术所提供的一种数据段迁移方法，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级本文档来自技高网...

【技术保护点】
一种数据段迁移方法，其特征在于，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。

【技术特征摘要】
1.一种数据段迁移方法，其特征在于，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。2.如权利要求1所述的数据段迁移方法，其特征在于，若触发所述目标数据段向上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，具体包括：在所述上一层级中查找是否有用于存储所述目标数据段的存储空间；如果有，则在所述上一层级中分配多个子数据段，所述多个子数据段的大小之和与所述目标数据段大小相同；将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本。3.如权利要求2所述的数据段迁移方法，其特征在于，将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本之后，还包括：根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息。4.如权利要求3所述的数据段迁移方法，其特征在于，更新所述多个子数据段的数据访问热度统计信息之后，还包括：记录所述目标数据段的编号以及所述子数据段在所述目标数据段中的索引。5.如权利要求1所述的数据段迁移方法，其特征在于，若触发所述目标数据段向下一层级迁移，则将所述目标数据段与所述目标数据在所述下一层级中所属的母数据段进行合并，同时在所述目标层级中删除所述目标数据段，具体包括：在所述下一层级中查找是否有用于存储所述目标数据段的存储空间；如果有，查找所述目标数据在所述下一层级中所属的母数据段...

【专利技术属性】
技术研发人员：马春，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11