数据存储的方法及装置制造方法及图纸

本申请提供了一种数据存储的方法及装置，其中该方法包括：为第一业务配置多个热度监测配置信息，依据每个热度监测配置信息中的配置对第一业务的热度进行监测，获取每个热度监测配置信息对应的热度值，然后依据该多个热度值选择存储第一业务对应数据位置，例如固态硬盘或者机械硬盘，可以是综合考虑多个热度值之后对第一业务对应数据进行迁移，也可以是独立地依据一个热度值对第一业务对应数据进行迁移，采用上述方案，一个业务配置有多个热度监测配置信息，可以更为准确及时地迁移该业务的热点数据至固态硬盘，大幅提升分级存储效率，解决了相关技术中由于热度值统计方式单一导致热点数据分级存储效果不理想的问题。

Method and Device of Data Storage

【技术实现步骤摘要】
数据存储的方法及装置
本申请涉及但不限于数据存储领域，具体而言，涉及一种数据存储的方法及装置。
技术介绍
在相关技术中，通常分布式存储系统架构由如下三部分组成：文件访问客户端模块，元数据服务器模块和存储服务器模块。图1是根据相关技术中的分布式存储系统结构模型图，如图1所示，文件访问客户端是应用程序访问文件系统的代理，提供应用程序文件操作接口，热度统计上报等功能；元数据服务器模块具有配置数据管理和文件元数据的管理和分级存储管理功能；存储服务器模块在存储系统中实际存储文件数据。存储系统以文件形式存储数据，包含元数据和文件内容，元数据和文件内容二者是分开存放的：元数据(包含文件信息和数据块位置)由元数据服务器模块管理，文件内容是按照固定大小分片存储到存储服务器中。每一个分片在系统内不同卷上有多个冗余副本，保障分片可靠性。例如一个文件大小100M，系统配置分片大小64M，则这个文件有2个分片。分布式存储系统(DistributeStorageSystem，简称为DSS)普遍混插机械硬盘和SSD(SolidStateDrives，固态硬盘)闪存，以满足大容量和高性能需求。近年来新型SSD闪存，如NVMe协议类型等，更是具有极高性能、超低延时特点，也逐渐在企业级存储中广泛应用。存储系统使用分级存储管理不同类型硬盘，均衡存储性能和容量需求。分级存储中SSD闪存主要作用是作为热点数据的缓存，用以存储当前业务最新或者最热的数据。数据冷热判断依据主要有：数据价值、数据访问频率、保留时间、数据访问大小等指标，称之为数据的访问热度。分级存储综合上述要素，将分片的副本存储到不同类型硬盘中，并且在不同类型硬盘之间根据热点情况进行自动迁移。针对相关技术中由于热度值统计方式单一导致热点数据分级存储效果不理想的问题，目前还没有有效的解决方案。
技术实现思路
本申请实施例提供了一种数据存储的方法及装置，以至少解决相关技术中由于热度值统计方式单一导致热点数据分级存储效果不理想的问题。根据本申请的一个实施例，提供了一种数据存储的方法，包括：获取为第一业务设置的多个热度监测配置信息；依据每个热度监测配置信息分别监测所述第一业务的热度值，其中，所述热度值用于指示所述第一业务被访问的频率；依据所述多个热度监测配置信息对应的多个热度值，选择存储所述第一业务对应数据的位置，并存储所述数据。根据本申请的另一个实施例，还提供了一种数据存储的装置，包括：第一获取模块，用于获取为第一业务设置的多个热度监测配置信息；第二获取模块，用于依据每个热度监测配置信息分别监测所述第一业务的热度值，其中，所述热度值用于指示所述第一业务被访问的频率；选择模块，用于依据所述多个热度监测配置信息对应的多个热度值，选择存储所述第一业务对应数据的位置，并存储所述数据。根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本申请，为第一业务配置多个热度监测配置信息，依据每个热度监测配置信息中的配置对第一业务的热度进行监测，获取每个热度监测配置信息对应的热度值，然后依据该多个热度值选择存储第一业务对应数据位置，例如固态硬盘或者机械硬盘，可以是综合考虑多个热度值之后对第一业务对应数据进行迁移，也可以是独立地依据一个热度值对第一业务对应数据进行迁移，采用上述方案，一个业务配置有多个热度监测配置信息，可以更为准确及时地迁移该业务的热点数据至固态硬盘，大幅提升分级存储效率，解决了相关技术中由于热度值统计方式单一导致热点数据分级存储效果不理想的问题。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据相关技术中的分布式存储系统结构模型图；图2是根据相关技术中的分级存储结构模型图；图3是本申请实施例的一种数据存储的方法的计算机终端的硬件结构框图；图4是根据本申请实施例的数据存储的方法的流程图；图5是根据本申请实施例的多业务分级存储改进模块交互图；图6是根据本申请实施例的多业务分级存储新增模块交互图；图7是根据本申请例子一的多业务热度监测配置信息界面示意图；图8是根据本申请例子二的分级存储多业务列表示意图；图9是根据本申请另例子三的权重管理流程示意图；图10是根据本申请例子四的分级存储多目录配置热度管理和淘汰结构图；图11是根据本申请例子四的分片淘汰主要流程示意图。具体实施方式下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。分级存储架构主要功能模块如下：文件访问客户端热度统计和上报；元数据服务器配置管理模块、热度管理模块、热度调度模块、统计模块，图2是根据相关技术中的分级存储结构模型图，如图2中所示，包括访问客户端，元数据服务器，存储服务器，热度配置模块，热度管理模块，热度统计模块，分片淘汰模块，热度调度模块，权重管理模块，协调调度模块。分级存储热度管理一般流程为：(1)应用程序调用接口(如read、sendfile等)访问文件分片时，文件访问客户端统计上报该分片读写次数、读写字节数等信息给元数据服务器热度管理模块。(2)元数据服务器接收到当前上报分片原始信息，结合历史热度和当前上报热度，根据公式计算得出该分片热度并保存到元数据中。(3)热度管理模块定时扫描元数据的分片，如果分片热度大于配置热度阈值且分片所有副本均位于机械硬盘上，则将相关元数据插入到待升级列表，并且重新将待升级列表排序。如果分片热度值小于热度阈值并且有副本在SSD闪存上，则将相关元数据插入待降级列表，并重新排序待降级列表；此处热度阈值指数据访问热度超过此值的分片可以被作为候选分片升级到SSD闪存。待升级列表指以热度为关键字从大到小已排好序且包含满足超出热度阈值的分片信息；降级列表指以热度为关键字从小到大已排好序，热度小于热度阈值的分片信息。(3)热度调度模块定时检查系统配置，取出待升级列表和待降级列表中符合条件的分片对存储服务器模块下达分片的副本迁移的指令。(4)存储服务器迁移分片副本成功后，上报元数据服务器；(5)元数据服务器修改分片副本迁移后新硬盘位置。相关技术是在若干历史时间段内统计文件或者对象热度作为历史热度，来预测反映未来一段时间内文件的热度，据此作为分级存储热度判断依据，将不同热度文件迁移到不同性能的硬盘上。相关技术中的分级存储技术存在较多的局限，一是多业务支持差，一套存储往往需要为多个业务提供存储服务，不同业务有不同的热点内容和热点时间段，笼统的基于历史文件访问热度的统计，将会导致热点不热，分级存储的效果不理想；第二是不同时间段热点支持差，即使是同一业务，在不同的时间段往往有不同的热点内容，单一的基于过往时间段的统计，会导致热本文档来自技高网...

【技术保护点】
1.一种数据存储的方法，其特征在于，包括：获取为第一业务设置的多个热度监测配置信息；依据每个热度监测配置信息分别监测所述第一业务的热度值，其中，所述热度值用于指示所述第一业务被访问的频率；依据所述多个热度监测配置信息对应的多个热度值，选择存储所述第一业务对应数据的位置，并存储所述数据。

【技术特征摘要】
1.一种数据存储的方法，其特征在于，包括：获取为第一业务设置的多个热度监测配置信息；依据每个热度监测配置信息分别监测所述第一业务的热度值，其中，所述热度值用于指示所述第一业务被访问的频率；依据所述多个热度监测配置信息对应的多个热度值，选择存储所述第一业务对应数据的位置，并存储所述数据。2.根据权利要求1所述的方法，其特征在于，获取为第一业务设置的多个热度监测配置信息，包括：获取所述热度监测配置信息中包括的以下信息至少之一：热度更新周期、热度统计起始时间、热度统计结束时间。3.根据权利要求1所述的方法，其特征在于，依据每个热度监测配置信息分别监测所述第一业务的热度值，包括：在每个热度监测配置信息对应的热度统计开始时间至热度统计结束时间内，统计每个热度更新周期中所述第一业务被访问的第一次数；依据所述第一次数获取每个热度监测配置信息对应的所述第一业务的热度值。4.根据权利要求1所述的方法，其特征在于，依据每个热度监测配置信息分别监测所述第一业务的热度值，包括：在所述多个热度监测配置信息中的第一热度监测配置信息针对所述第一业务的第一业务目录时，依据所述第一热度监测配置信息统计所述第一业务目录中一个或多个数据分片的热度值。5.根据权利要求1所述的方法，其特征在于，依据所述多个热度监测配置信息对应的多个热度值，选择存储所述第一业务对应数据的位置，并存储所述数据，包括：在所述多个热度监测配置信息为关联的热度监测配置信息时，获取每个热度监测配置信息对应的热度值和预设权重的乘积；获取所述多个热度监测配置信息的乘积的和值，依据所述和值选择存储所述第一业务对应数据的位置，并存储所述数据。6.根据权利要求5所述的方法，其特征在于，依据所述和值选择存储所述第一业务对应数据的位置，并存储所述数据，包括：在所述和值大于热度阈值时，将所述第一业务对应的数据由机械硬盘迁移至固态硬盘；在所述和值小于热度阈值时，将所述第一业务对应的数据由固态硬盘迁移至机械硬盘。7.根据权利要求1所述的方法，其特征在于，选择存储所述第一业务对应数据的位置，并存储所述数据，包括：选择存储所述第一业务的第一数据分片的副本的固态硬盘或机械硬盘；将所述副本存储至选定的固态硬盘或机械硬盘。8.根据权利要求7所述的方法，其特征在于，将所述副本迁移至固态硬盘之后，所述方法还包括：在一个热度更新周期内，统计执行所述第一业务时读...

【专利技术属性】
技术研发人员：王波，屠要峰，黄震江，韩银俊，洪建峰，郭斌，丁毅，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44