一种文件压缩存储方法、装置、设备及存储介质制造方法及图纸

技术编号:26762322 阅读:29 留言:0更新日期:2020-12-18 23:10
本发明专利技术公开了一种文件压缩存储方法,方法包括:按照预设周期记录各个文件的操作次数和操作总耗时;针对每种文件类型,根据当前预设周期内属于该文件类型的文件的操作总耗时计算平均耗时;根据平均耗时确定系统繁忙程度系数,根据系统繁忙程度系数确定是否需要重新确定压缩策略;若需要,则根据当前预设周期内该文件的次数统计操作频率并确定操作频率对应的压缩策略,若压缩策略与当前应用的压缩策略不同,则使用压缩策略重新对文件进行压缩并存储。通过按照一定周期记录对文件操作的次数,因此每次存储一个周期的次数即可。将文件类型和系统繁忙程度结合到压缩策略的调整过程,可使得文件压缩策略的调整满足用户操作耗时的要求,提高访问效率。

【技术实现步骤摘要】
一种文件压缩存储方法、装置、设备及存储介质
本专利技术涉及大数据
,应用于智慧城市领域中,具体涉及一种文件压缩存储方法、装置、设备及存储介质。
技术介绍
随着互联网、电子信息化时代的普及,以及大数据、AI行业的火热,各企业、组织的各种各样的非结构化数据量暴涨。业界普遍使用的归档压缩存储,采用统一的压缩存储工具,将海量文件压缩后归档存储到存储产品中。然而,如果采用的压缩存储工具的压缩效率高,则用户的访问效率受到限制,而如果为了提高用户的访问效率,采用压缩效率低的压缩存储工具,存储成本高,因此,单一的归档压缩方案只能在压缩效率和访问效率上二选一,无法均衡访问效率和压缩效率这两个制约关系。
技术实现思路
本专利技术的目的是针对上述现有技术的不足提出的一种文件压缩存储方法、装置、设备及存储介质,该目的是通过以下技术方案实现的。本专利技术的第一方面提出了一种文件压缩存储方法,所述方法包括:按照预设周期记录用户对各个已存储文件进行操作的次数和操作总耗时;其中,每个已存储文件对应记录有所属的文件类型和文件大小本文档来自技高网...

【技术保护点】
1.一种文件压缩存储方法,其特征在于,所述方法包括:/n按照预设周期记录用户对各个已存储文件进行操作的次数和操作总耗时;其中,每个已存储文件对应记录有所属的文件类型和文件大小;/n针对每种文件类型,根据属于该文件类型的已存储文件的文件大小和当前预设周期内记录的属于该文件类型的已存储文件的操作总耗时,计算该种文件类型的单位容量操作的平均耗时;/n根据所述平均耗时确定对该文件类型进行操作的系统繁忙程度系数,并根据所述系统繁忙程度系数确定是否需要为属于该文件类型的已存储文件确定压缩策略;/n若需要,则根据当前预设周期内记录的该已存储文件的次数统计第一操作频率,并确定所述第一操作频率对应的压缩策略,若...

【技术特征摘要】
1.一种文件压缩存储方法,其特征在于,所述方法包括:
按照预设周期记录用户对各个已存储文件进行操作的次数和操作总耗时;其中,每个已存储文件对应记录有所属的文件类型和文件大小;
针对每种文件类型,根据属于该文件类型的已存储文件的文件大小和当前预设周期内记录的属于该文件类型的已存储文件的操作总耗时,计算该种文件类型的单位容量操作的平均耗时;
根据所述平均耗时确定对该文件类型进行操作的系统繁忙程度系数,并根据所述系统繁忙程度系数确定是否需要为属于该文件类型的已存储文件确定压缩策略;
若需要,则根据当前预设周期内记录的该已存储文件的次数统计第一操作频率,并确定所述第一操作频率对应的压缩策略,若所述压缩策略与该已存储文件当前应用的压缩策略不同,则使用所述压缩策略重新对该已存储文件进行压缩,并利用压缩后的文件覆盖该已存储文件。


2.根据权利要求1所述的方法,其特征在于,所述根据所述平均耗时确定对该文件类型进行操作的系统繁忙程度系数,包括:
如果所述平均耗时小于第一预设耗时,则确定系统繁忙程度系数为第一系数;
如果所述平均耗时位于第一预设耗时和第二预设耗时之间,则确定系统繁忙程度系数为第一系数;
如果所述平均耗时大于第二预设耗时,则确定系统繁忙程度系数为第三系数;
其中,所述平均耗时与所述系统繁忙程度系数之间呈负相关。


3.根据权利要求2所述的方法,其特征在于,所述根据所述系统繁忙程度系数确定是否需要为属于该文件类型的已存储文件确定压缩策略,包括:
若所述系统繁忙程度系数为第一系数,则确定需要为属于该文件类型的所有已存储文件确定压缩策略;
若所述系统繁忙程度系数为第二系数,则针对属于该文件类型的每个已存储文件,为该已存储文件生成一个随机概率,若该随机概率小于预设概率,则确定需要为该已存储文件确定压缩策略;
若所述系统繁忙程度系数为第三系数,则确定不需要为属于该文件类型的已存储文件确定压缩策略。


4.根据权利要求1所述的方法,其特征在于,所述按照预设周期记录用户对各个已存储文件进行操作的次数和操作总耗时,包括:
在每个预设周期中,将所述预设周期划分为多个时间间隔;
记录用户在每个时间间隔中对已存储文件进行操作的次数和进行所述次数操作的耗时;
将所述多个时间间隔中记录的耗时之和记录为操作总耗时。


5.根据权利要求4所述的方法,其特征在于,所述操作包括写操作和读操作,所述根据当前预设周期内记录的该已存储文件的次数统计第一操作频率,包括:
从当前预设周期中的每个时间间隔对应的写操作的次数中剔除异常次数;
利用剩余的写操作的次数计算该已存储文件在当前预设周期内的第二写操作频率;
依据所述第二写操作频率和该已存储文件在当前预设周期的上一个预设周期预估得到的第一写操作频率预估该已存储文件未来的的...

【专利技术属性】
技术研发人员:兰东平
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1