数据压缩方法、装置及计算机可读存储介质制造方法及图纸

技术编号:26478559 阅读:34 留言:0更新日期:2020-11-25 19:22
本申请公开了一种数据压缩方法、装置及计算机可读存储介质。其中,方法包括当接收到主机下发的写请求,判断写请求对应待处理数据的占用空间容量值与预设最小决策采样阈值间的数值关系,若待处理数据的占用空间容量值不大于预设最小决策采样阈值,或待处理数据的占用空间容量值大于预设最小决策采样阈值但其压缩率低于预设最大压缩率阈值,对待处理数据进行压缩,同时将待处理数据的元数据对应字段标识为压缩数据。若待处理数据的压缩率不低于预设最大压缩率阈值,不对待处理数据进行压缩处理,将待处理数据的元数据对应字段标记为原始数据。本申请通过数据压缩可以更加高效地实现数据缩减,提高存储系统的数据处理效率,提升存储系统的存储性能。

【技术实现步骤摘要】
数据压缩方法、装置及计算机可读存储介质
本申请涉及存储
,特别是涉及一种数据压缩方法、装置及计算机可读存储介质。
技术介绍
伴随着信息产业化的快速发展,信息数据增速明显,需要存储的数据规模越来越大,用户对存储设备的容量提出了更高的要求,存储设备的容量与成本在一定范围内成正比,更大容量的存储设备相应的价格也就越高,生产成本的攀升显然对用户不友好,数据缩减便成为提升存储设备的存储性能的一项应用广泛的技术,数据压缩是实现数据缩减的一种实施方式,但是由于压缩需要消耗较多的系统资源与时间,因此如何提高数据的压缩效率具有重要的价值。压缩效率(Compressionrate,压缩率)为用于描述压缩文件的效果名,是文件压缩后的大小与压缩前的大小之比,例如100M的文件压缩后是90M,压缩率为90/100*100%=90%,压缩率一般是越小越好,但是压得越小,解压时间越长。相关存储系统中,在创建一个压缩卷后或者开启压缩功能后,当主机发送写请求时,IO(Input/Output,输入/输出)将会被存储的压缩引擎压缩,主机发送读请求,IO数据将会被压缩本文档来自技高网...

【技术保护点】
1.一种数据压缩方法,其特征在于,包括:/n当接收到主机下发的写请求,若所述写请求对应待处理数据的占用空间容量值大于预设最小决策采样阈值,计算所述待处理数据的压缩率;/n若所述待处理数据的压缩率低于预设最大压缩率阈值,对所述待处理数据进行压缩,同时将所述待处理数据的元数据对应字段标识为压缩数据;若所述待处理数据的压缩率不低于预设最大压缩率阈值,将所述待处理数据的元数据对应字段标记为原始数据;/n若所述待处理数据的占用空间容量值不大于预设最小决策采样阈值,对所述待处理数据进行压缩,同时将所述待处理数据的元数据对应字段标识为压缩数据。/n

【技术特征摘要】
1.一种数据压缩方法,其特征在于,包括:
当接收到主机下发的写请求,若所述写请求对应待处理数据的占用空间容量值大于预设最小决策采样阈值,计算所述待处理数据的压缩率;
若所述待处理数据的压缩率低于预设最大压缩率阈值,对所述待处理数据进行压缩,同时将所述待处理数据的元数据对应字段标识为压缩数据;若所述待处理数据的压缩率不低于预设最大压缩率阈值,将所述待处理数据的元数据对应字段标记为原始数据;
若所述待处理数据的占用空间容量值不大于预设最小决策采样阈值,对所述待处理数据进行压缩,同时将所述待处理数据的元数据对应字段标识为压缩数据。


2.根据权利要求1所述的数据压缩方法,其特征在于,所述待处理数据的占用空间容量值不大于预设最小决策采样阈值,对所述待处理数据进行压缩包括:
预先分配包括多个待压缩数据区和压缩数据区的缓存区,各待压缩数据区的占用空间容量值等于所述预设最小决策采样阈值;
若所述待处理数据的占用空间容量值不大于预设缓存阈值,将所述待处理数据存储至其中一个待压缩数据区;所述预设缓存阈值小于所述待压缩数据区的占用空间容量值;若所述待处理数据的占用空间容量值大于预设缓存阈值且小于所述预设最小决策采样阈值,将所述待处理数据存储至所述压缩数据区;
若检测到各待压缩数据区中的剩余空间容量值低于容量阈值,同时调用多个压缩线程对各待处理数据进行压缩,同时将各待处理数据的元数据对应字段标识压缩数据;
若检测到所述压缩数据区内的存储数据占用空间容量值与所述预设最小决策采样阈值相同,同时调用多个压缩线程对各待处理数据进行压缩,同时将各待处理数据的元数据对应字段标识压缩数据。


3.根据权利要求2所述的数据压缩方法,其特征在于,所述将所述待处理数据存储至其中一个待压缩数据区包括:
判断存储目标写请求对应待处理数据的目标待压缩数据区的剩余空间容量值是否大于当前时刻写请求对应待处理数据的占用空间容量值;所述目标写请求为对应待处理数据的占用空间容量值不大于所述预设缓存阈值且请求下发时刻与所述当前时刻写请求的请求下发时刻最相近的请求;
若是,将所述当前时刻写请求对应待处理数据存储至所述目标待压缩数据区;若否,将所述当前时刻写请求对应待处理数据存储至所述目标待压缩数据区的下一个待压缩数据区。


4.根据权利要求1至3任意一项所述的数据压缩方法,其特征在于,所述对所述待处理数据进行压缩之后,还包括:
当接收到主机下发的读请求,获取所述读请求对应待读取数据的元数据;
若所述待读取数据的元数据的压缩标识字段为原始数据,将所述待读取数据返...

【专利技术属性】
技术研发人员:王艳清徐洪志亓国强郭平加
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1