一种基于分布式文件系统的分级存储方法以及相关装置制造方法及图纸

本申请公开了一种基于分布式文件系统的分级存储方法，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据最小操作单位对高性能存储空间中的原始数据执行分级存储操作。通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。本申请还公开了一种基于分布式文件系统的分级存储装置、服务器以及计算机可读存储介质，具有上述有益效果。 1

A hierarchical storage method based on distributed file system and related devices

This application discloses a hierarchical storage method based on distributed file system, including: setting the minimum operating unit according to the data storage type of the distributed file system; judging whether the remaining storage space of the high performance storage space of the distributed file system is lower than the default size; if, it is based on the minimum. The operation unit performs hierarchical storage operations on raw data in high-performance storage space. By setting the corresponding minimum operating units for different storage types, reducing the impact on the file storage system in the hierarchical storage process, improving the utilization rate of data reading and writing, optimizing the hierarchical storage method, and improving the overall utilization of the system. The application also discloses a hierarchical storage device, a server and a computer readable storage medium based on a distributed file system, which has the beneficial effect. One

【技术实现步骤摘要】
一种基于分布式文件系统的分级存储方法以及相关装置
本申请涉及计算机
，特别涉及一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质。
技术介绍
随着信息技术的发展，网络中产生的数据越来越多。在不同的领域所产生的数据量一般都达到了PB级别。面对不断增长的数据量，在访问、存储以及管理数据方面都变得越来越困难，所花费的成本也变得越来越高昂。实际上，数据通常具有使用的周期，在不同的时期数据具有不同的意义。例如，在数据刚刚生成时，访问频率较高，数据价值也是最高的，随着时间的推移，访问频率降低，数据的价值也会随之下降。并且，一把情况低访问频率的数据量远远超过了高访问频率的数据量。因此，一般的会按照数据的不同访问频率将数据分级存储，将高访问频率的数据存储在高性能磁盘系统中，将低访问频率的数据存储在低性能磁盘系统中。通过将不同的数据分级存放，使硬件系统的新能得到了充分的利用，降低了维护成本。但是，目前在进行数据分类存放中，都是以OSD(ObjectStorageDevice，对象存储设备)为基本的操作单位，在分级存储的过程中占用大量的系统资源，对正常使用造成影响，并没有起到分级存储应有的作用。因此，如何使数据分类存储的过程中，降低对系统的影响，提高性能的利用率，是本领域技术人员所关注的热点问题。
技术实现思路
本申请的目的是提供一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质，通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。为解决上述技术问题，本申请提供一种基于分布式文件系统的分级存储方法，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。可选的，服务器根据分布式文件系统的数据存储类型设置分级存储的最小操作单位，包括：所述服务器获取分布式文件系统的存储类型；当所述存储类型为文件存储，将所述最小操作单位设置为PG；当所述存储类型为对象存储，将所述最小操作单位设置为Buckets。可选的，根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作，包括：以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级；若是，则将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据；将所述待迁移数据以所述最小操作单位迁移至所述低性能存储空间。可选的，该方法还包括：当对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；当所述读取负载大于预设读取负载时，将所述数据迁移的速率限制在零速率到预设速率之间。本申请还提供一种基于分布式文件系统的分级存储装置，包括：迁移单位设置模块，用于根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；剩余存储空间判断模块，用于判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；迁移模块，用于根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。可选的，所述迁移单位设置模块包括：存储类型获取单元，用于获取分布式文件系统的存储类型；文件存储设置单元，用于当所述存储类型为文件存储，将所述最小操作单位设置为PG；对象存储设置单元，用于当所述存储类型为对象存储，将所述最小操作单位设置为Buckets。可选的，所述迁移模块包括：优先级判断单元，用于以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级；迁移数据标记单元，用于将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据；分级存储单元，用于将所述待迁移数据以所述最小操作单位迁移至所述低性能存储空间。可选的，该装置还包括：读取负载获取模块，用于当对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；速率调整模块，用于当所述读取负载大于预设读取负载时，将所述数据迁移的速率限制在零速率到预设速率之间。本申请还提供一种服务器，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上所述的分级存储方法的步骤。本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的分级存储方法的步骤。本申请所提供的一种基于分布式文件系统的分级存储方法，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。通过针对不同的存储类型设置对应的最小操作单位，避免了在分级存储过程中以OSD的全部性能进行分级存储，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。本申请还提供一种基于分布式文件系统的分级存储装置、服务器以及计算机可读存储介质，具有上述有益效果，在此不做赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种基于分布式文件系统的分级存储方法的流程图；图2为本申请实施例提供的基于分布式文件系统的分级存储方法中的数据分级存储的流程图；图3为本申请实施例所提供的一种基于分布式文件系统的分级存储装置的结构示意图。具体实施方式本申请的核心是提供一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质，通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参考图1，图1为本申请实施例所提供的一种基于分布式文件系统的分级存储方法的流程图。本实施例提供一种基于分布式文件系统的分级存储方法，可以降低分级存储对系统的影响，该方法可以包括：S101，根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；本步骤旨在根据分布式文件系统的数据存储类型设置分级存储的最小操作单位。该领域内一般都使用的分级存储方法都是以OSD为单位将数据进行迁移，OSD是分布式文件系统管理文件的相对底层的对象，，因此在实施时设置方便，利于开发者对存储的数据进行进一步的迁移操作，但是OSD通常对应与一个对象存储的硬件设备，此时该硬件设备中会存有大量的数据，迁移时需要消耗大量的系统资源，影响前端设备的正常使用。进一步的，对于一个硬件设备中本文档来自技高网...

【技术保护点】
1.一种基于分布式文件系统的分级存储方法，其特征在于，包括：

【技术特征摘要】
1.一种基于分布式文件系统的分级存储方法，其特征在于，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。2.根据权利要求1所述的分级存储方法，其特征在于，服务器根据分布式文件系统的数据存储类型设置分级存储的最小操作单位，包括：所述服务器获取分布式文件系统的存储类型，当所述存储类型为文件存储，将所述最小操作单位设置为PG；当所述存储类型为对象存储，将所述最小操作单位设置为Buckets。3.根据权利要求2所述的分级存储方法，其特征在于，根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作，包括：以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级；若是，则将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据；将所述待迁移数据以所述最小操作单位迁移至低性能存储空间。4.根据权利要求3所述的分级存储方法，其特征在于，还包括：当对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；当所述读取负载大于预设读取负载时，将所述数据迁移的速率限制在零速率到预设速率之间。5.一种基于分布式文件系统的分级存储装置，其特征在于，包括：迁移单位设置模块，用于根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；剩余存储空间判断模块，用于判断所述分布式文件系统的高性能存储空...

【专利技术属性】
技术研发人员：马顺，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41