一种数据文件存储方法、装置、设备以及存储介质制造方法及图纸

技术编号:17097102 阅读:16 留言:0更新日期:2018-01-21 08:41
本发明专利技术公开了一种数据文件存储方法以及装置,通过获取各数据文件的访问热度以及各个存储硬盘的存储容量参数;根据存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;其中,热度区间信息为划分文件时的热度上限值和热度下限值;然后根据调整后的热度区间信息,将数据文件分别存储至与访问热度相对应的存储硬盘。本申请能够根据存储设备的状态动态地调整用于对文件进行分类的访问热度标准,随着磁盘剩余容量的减少,只有具有更高访问热度的文件才能存储到相应的硬盘,达到提升文件数据的存储效率和访问效率的目的。此外,本申请还提供了一种具有上述技术优点的数据文件存储设备以及计算机可读存储介质。

【技术实现步骤摘要】
一种数据文件存储方法、装置、设备以及存储介质
本专利技术涉及存储
,特别是涉及一种数据文件存储方法、装置、设备以及计算机可读存储介质。
技术介绍
近年来,全球数据量以每年58%的速率高速增长。IDC研究报告指出,预计到2020年全球数据总量将超过40ZB。数据量的高速增长,对数据的存储效率和访问效率提出严峻的挑战。为了解决这个问题,新兴存储设备依据文件的热度对文件进行分类,并依据文件的分类信息对文件分别进行存储。这里,文件的热度通常指文件的访问频率,即,单位时间内文件的访问次数。以图1现有技术的示意图为例,假设依据文件的热度将文件分为两类,则现有技术一的存储设备包括处理器、第一类型存储硬盘和第二类型存储设备。处理器用于获取文件的热度信息。第一类型存储硬盘用于存储高热度文件,第二类型存储硬盘用于存储低热度文件。通常,第一类型存储硬盘的数据存取速率高于第二类型的存储硬盘。假设用于分类的热度值为H,则对于访问热度为[H,+∞)区间的文件存储到第一类型存储硬盘,而对于访问热度为[0,H)区间的文件则存储到第二类型存储硬盘。此外,根据文件的访问热度动态地调整文件的存储位置,即当第一类型存储硬盘中的文件的热度小于H时,将其调整到第二类型存储硬盘;同样地,当第二类型存储硬盘中文件的热度大于H时,将其调整到第一类型存储硬盘。这样,采用将热文件数据和冷文件数据分开存储,并将热文件存储到存取速率较高的存储硬盘的方式,可以有效地提高文件数据的存取效率然而,存储系统在进行文件分类时通常采用固定的热度值作为文件分类的依据,而不考虑存储设备的状态,导致在存储设备的剩余容量不足时无法有效地对文件进行分类存储,降低了文件的存储效率和访问效率。以图1为例,当第一类型存储硬盘的剩余容量较多时,比如剩余容量超过硬盘容量的50%时,通过现有技术的文件分类存储可以有效地提升文件数据的存取效率;然而,当第一类型存储硬盘的剩余容量较少时,比如剩余容量不足硬盘容量的20%时,大量的高热度文件数据的存储操作将很快导致第一类型存储硬盘的剩余容量被占满,从而无法有效地存储热文件数据,导致文件数据存取效率的降低。
技术实现思路
本专利技术的目的是提供一种数据文件存储方法、装置、设备以及计算机可读存储介质,以解决现有数据文件存储技术中文件的存储效率和访问效率较低的问题。为解决上述技术问题,本专利技术提供一种数据文件存储方法,包括:获取各数据文件的访问热度;获取各个存储硬盘的存储容量参数;根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;所述热度区间信息为划分文件时的热度上限值和热度下限值;根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘。可选地,所述获取各数据文件的访问热度包括:监控数据文件的访问信息,确定各所述数据文件的访问次数以及访问时间;根据所述访问次数以及所述访问时间,计算各所述数据文件在单位时间内的访问频率,作为各所述数据文件的访问热度。可选地,所述根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息包括:当高热度文件存储硬盘的剩余容量小于αС时,将所述热度区间信息中的区间界值调整为当高热度文件存储硬盘的剩余容量小于βС时,将所述区间界值调整为ψR;其中,所述区间界值为区分高热度文件和低热度文件的分界值,α、β为预设阈值,ψ为调整参数0<β<α<1,C为高热度文件存储硬盘的硬盘容量,R为区分高热度文件和低热度文件的区间界值。可选地,所述根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘包括:当数据文件的访问热度不低于所述区间界值时,将所述数据文件存储至高热度文件存储硬盘;当数据文件的访问热度低于所述区间界值时,将所述数据文件存储至低热度文件存储硬盘。可选地,在所述根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘之后还包括:对存储硬盘中已存储的数据文件的访问热度进行实时监控,并根据所述数据文件的当前访问热度动态更新存储的位置。可选地,所述根据所述数据文件的当前访问热度动态更新存储的位置包括:当存储在高热度文件存储硬盘中的数据文件的当前访问热度低于所述区间界值时,将所述数据文件调整至所述低热度文件存储硬盘;当存储在低热度文件存储硬盘中的数据文件的当前访问热度不低于所述区间界值时,将所述数据文件调整至所述高热度文件存储硬盘。可选地,所述高热度文件存储硬盘为SSD硬盘,所述低热度文件存储硬盘为HDD硬盘。本专利技术还提供了一种数据文件存储装置,包括:第一获取模块,用于获取各数据文件的访问热度;第二获取模块,用于获取各个存储硬盘的存储容量参数;调整模块,用于根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;所述热度区间信息为划分文件时的热度上限值和热度下限值;存储模块,用于根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘。本专利技术还提供了一种数据文件存储设备,包括:存储器,用于存储指令;处理器,调用所述指令以用于获取各数据文件的访问热度;获取各个存储硬盘的存储容量参数;根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;所述热度区间信息为划分文件时的热度上限值和热度下限值;根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘。本专利技术还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述数据文件存储方法的步骤。本专利技术所提供的数据文件存储方法以及装置,通过获取各数据文件的访问热度以及各个存储硬盘的存储容量参数;根据存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;其中,热度区间信息为划分文件时的热度上限值和热度下限值;然后根据调整后的热度区间信息,将数据文件分别存储至与访问热度相对应的存储硬盘。本申请能够根据存储设备的状态动态地调整用于对文件进行分类的访问热度标准,随着磁盘剩余容量的减少,只有具有更高访问热度的文件才能存储到相应的硬盘,达到提升文件数据的存储效率和访问效率的目的。此外,本申请还提供了一种具有上述技术优点的数据文件存储设备以及计算机可读存储介质。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为现有技术的示意图;图2为本专利技术所提供的数据文件存储方法的一种具体实施方式的流程图;图3为本实施例中获取各数据文件的访问热度的一种具体实施过程示意图;图4为本专利技术实施例提供的数据文件存储装置的结构框图;图5为本专利技术实施例提供的数据文件存储设备的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案,下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,本文档来自技高网
...
一种数据文件存储方法、装置、设备以及存储介质

【技术保护点】
一种数据文件存储方法,其特征在于,包括:获取各数据文件的访问热度;获取各个存储硬盘的存储容量参数;根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;所述热度区间信息为划分文件时的热度上限值和热度下限值;根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘。

【技术特征摘要】
1.一种数据文件存储方法,其特征在于,包括:获取各数据文件的访问热度;获取各个存储硬盘的存储容量参数;根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息;所述热度区间信息为划分文件时的热度上限值和热度下限值;根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘。2.如权利要求1所述的数据文件存储方法,其特征在于,所述获取各数据文件的访问热度包括:监控数据文件的访问信息,确定各所述数据文件的访问次数以及访问时间;根据所述访问次数以及所述访问时间,计算各所述数据文件在单位时间内的访问频率,作为各所述数据文件的访问热度。3.如权利要求1或2所述的数据文件存储方法,其特征在于,所述根据所述存储硬盘的存储容量参数,动态调整用于分类文件的热度区间信息包括:当高热度文件存储硬盘的剩余容量小于αС时,将所述热度区间信息中的区间界值调整为当高热度文件存储硬盘的剩余容量小于βС时,将所述区间界值调整为ψR;其中,所述区间界值为区分高热度文件和低热度文件的分界值,α、β为预设阈值,ψ为调整参数0<β<α<1,C为高热度文件存储硬盘的硬盘容量,R为区分高热度文件和低热度文件的区间界值。4.如权利要求3所述的数据文件存储方法,其特征在于,所述根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度相对应的存储硬盘包括:当数据文件的访问热度不低于所述区间界值时,将所述数据文件存储至高热度文件存储硬盘;当数据文件的访问热度低于所述区间界值时,将所述数据文件存储至低热度文件存储硬盘。5.如权利要求4所述的数据文件存储方法,其特征在于,在所述根据调整后的所述热度区间信息,将所述数据文件分别存储至与访问热度...

【专利技术属性】
技术研发人员:李龙
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1