存储系统冷热智能调度的方法、存储介质技术方案

本发明专利技术提供一种存储系统冷热智能调度的方法、存储介质，方法包括：预设各存储类型对应预设时长的访问次数范围；创建第一文件的标识与其存储类型的关联关系；当时间累积达到预设时长，统计预设时长内第一文件的访问次数；获取第一文件中访问次数达到预设阈值的第二文件标识；依据关联关系，确定所述第二文件的存储类型；记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。本发明专利技术能够短时周期性地智能调整文件的存储方式，使其存储和访问更合理、高效，同时节省存储成本；还能实现长时周期性迁移高频存储系统内低访问频率的文件，进一步节省存储成本。

【技术实现步骤摘要】
存储系统冷热智能调度的方法、存储介质
本专利技术涉及数据存储系统，具体涉及存储系统冷热智能调度的方法、存储介质。
技术介绍
很多系统中都存在有图片访问、音视频文件访问或者普通文档文件访问功能，这其中便涉及到文件的上传和下载等功能。很多公司的内部系统都会研发一套文件存储相关的系统。在这套系统中，很多公司系统在起初大多因业务量不多，只存在一种存储方式，而随着业务量的增加，可能会同时存在多种存储方式。一般场景之下，会大致分成如下几种存储方式：高频存储方式、低频存储方式和实时存储方式。高频存储方式一般适用于低访问延时和较高吞吐量的高频访问的场景(访问高效，但存储成本高)；低频存储方式一般适用于较低存储成本和较低访问延时的低频访问的场景(访问较为高效，存储成本一般)；实时存储方式适用于访问频率极低的场景(访问低效，存储成本最低)。上述3种访问方式分别适用于不同的适用场景。现在很多种情况下，这3种方式被业务系统使用的话，一般都是业务方根据自身业务的系统的特点，固定或者手动选择存储方式，或者根据业务数据特点，当满足一定条件的场景时，使用两种以上存储方式的组合。是否能有一种新的访问方式，能根据不同时间段内的文件访问情况，进行合理、智能地调度，实现文件存储与访问的高效，并节省存储成本。
技术实现思路
本专利技术所要解决的技术问题是：提供一种存储系统冷热智能调度的方法、存储介质，使文件存储更合理，访问更高效；同时节省存储成本。为了解决上述技术问题，本专利技术采用的技术方案为：一种存储系统冷热智能调度的方法，包括：预设各存储类型对应预设时长的访问次数范围；创建第一文件的标识与其存储类型的关联关系；当时间累积达到预设时长，则统计预设时长内第一文件的访问次数；获取第一文件中访问次数达到预设阈值的第二文件的标识；依据所述关联关系，确定所述第二文件的存储类型；记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。本专利技术提供的另一个技术方案为：一种计算机可读存储介质，其上存储有计算机程序，所述程序再被处理器执行时，能够实现上述一种存储系统冷热智能调度的方法所包含的步骤。本专利技术的有益效果在于：通过预设各种存储类型在预设时长内被视为理应的访问次数范围，并建立第一文件与其存入系统的存储类型的关联；而后，通过统计每个预设时长所有第一文件的访问次数，利用关联关系确定对应的存储类型，进而确认其访问次数是否在合理范围之内，一旦连续超过预设次数不在合理范围，则重新调整文件的存储系统。本专利技术以定时监控文件访问量的方式自动、及时调整文件的存储方式，能够使文件的存储更合理，文件的存储和访问都更具高效性，并且节省存储成本。附图说明图1为本专利技术一实施例一种存储系统冷热智能调度的方法的流程示意图；图2为本专利技术实施例一以及实施例二一种存储系统冷热智能调度的方法的流程示意图。具体实施方式为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。本专利技术最关键的构思在于：定时监控文件的访问量是否在其对应存储类型的合理访问次数范围内，依据文件的真实访问量调整其存储方式，使文件的存储方式更合理，文件的访问更高效，减少不必要的存储成本。本专利技术涉及的技术术语解释:请参照图1，本专利技术提供一种存储系统冷热智能调度的方法，包括：预设各存储类型对应预设时长的访问次数范围；创建第一文件的标识与其存储类型的关联关系；当时间累积达到预设时长，则统计预设时长内第一文件的访问次数；获取第一文件中访问次数达到预设阈值的第二文件的标识；依据所述关联关系，确定所述第二文件的存储类型；记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。从上述描述可知，本专利技术的有益效果在于：区别于现有技术需要业务方依据自身业务系统/业务数据的特点以固定或手动方式选择文件存储方式，可能存在文件存储方式不合理，从而影响文件访问效率，存储成本高的问题。本专利技术针对高频、低频和实时三种存储方式，分别预设对应监测周期的合理访问次数范围，若文件多次不在对应合理访问次数范围内，则及时对其存储方式进行调整。本专利技术通过定时监控，结合一定策略，能够不断地完善文件的存储方式，使文件的存储方式更合理，从而使文件存储和访问都更高效，也能节省存储成本。进一步地，所述创建第一文件的标识与其存储类型的关联关系，具体为：依据第一文件待存入的存储系统的存储类型，预设第一文件的存储类型标志；网关系统接收到所述第一文件后，依据随其一并上传的存储类型标志存储所述第一文件至对应的存储系统；在ES集群中存储第一文件的标识与其存储类型的关联关系。由上述描述可知，本专利技术提供网关系统，统一对外提供文件上传和访问等功能。另外还提供与网关系统连接的ES集群，负责文件索引的存储；网关系统通过访问ES集群的获取文件索引，据此将文件存储到对应的存储系统中。通过网关系统与ES集群的交互，能够实现依据文件的存储类型标志进行分类存储，更有利于文件的管理。进一步地，所述当时间累积达到预设时长，则统计预设时长内第一文件的访问次数，之前，还包括：第一文件被访问时，网关系统在redis集群中以sortset方式记录其访问次数，其中，所述sortset方式中的key为第一文件的标识，scre为访问次数。由上述描述可知，以sortset方式记录各第一文件对应预设时长的访问次数，充分利用了redis集群中sortset数据结构能够快速地按照sort进行排序的优点，实现快速获取预设时长内各个文件按照访问次数进行排序的结果，有利于后续针对访问次数的统计分析。进一步地，所述统计预设时长内第一文件的访问次数，之后，还包括：清空所述redis集群中的记录。由上述描述可知，时间累积达到一个预设时长，并确定了该预设时长内超出合理访问次数范围的文件后，便及时清空该预设时长内的数据，能够确保进入下一个预设时长时所统计数据的准确性。进一步地，所述若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型，具体为：若一第三文件连续预设次数被记录，且对应的访问次数均处于同一存储类型，则修改所述关联关系，将所述一第三文件的标识与所述同一存储类型进行关联，同时将所述一第三文件迁移至所述同一存储类型对应的存储系统。由上述描述可知，明确了某一个第三文件连续次数不在自身存储类型对应的访问次数范围内之后，便依据其连续次数所在的存储类型，修改该第三文件的关联关系，同时迁移其存储系统。实现了依据文件实际的访问次数来调整其存储系统，使其存储方式更合理，同时也能使其访问更高效。进一步地，还包括：依据所述访问次数，统计本文档来自技高网...

【技术保护点】
1.一种存储系统冷热智能调度的方法，其特征在于，包括：/n预设各存储类型对应预设时长的访问次数范围；/n创建第一文件的标识与其存储类型的关联关系；/n当时间累积达到预设时长，则统计预设时长内第一文件的访问次数；/n获取第一文件中访问次数达到预设阈值的第二文件的标识；/n依据所述关联关系，确定所述第二文件的存储类型；/n记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；/n若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。/n

【技术特征摘要】
1.一种存储系统冷热智能调度的方法，其特征在于，包括：
预设各存储类型对应预设时长的访问次数范围；
创建第一文件的标识与其存储类型的关联关系；
当时间累积达到预设时长，则统计预设时长内第一文件的访问次数；
获取第一文件中访问次数达到预设阈值的第二文件的标识；
依据所述关联关系，确定所述第二文件的存储类型；
记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；
若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。


2.如权利要求1所述的一种存储系统冷热智能调度的方法，其特征在于，所述创建第一文件的标识与其存储类型的关联关系，具体为：
依据第一文件待存入的存储系统的存储类型，预设第一文件的存储类型标志；
网关系统接收到所述第一文件后，依据随其一并上传的存储类型标志存储所述第一文件至对应的存储系统；
在ES集群中存储第一文件的标识与其存储类型的关联关系。


3.如权利要求1所述的一种存储系统冷热智能调度的方法，其特征在于，所述当时间累积达到预设时长，则统计预设时长内第一文件的访问次数，之前，还包括：
第一文件被访问时，网关系统在redis集群中以sortset方式记录其访问次数，其中，所述sortset方式中的key为第一文件的...

【专利技术属性】
技术研发人员：刘德建，林伟，郭玉湖，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：福建;35