数据存储方法、数据存储装置、存储介质及产品制造方法及图纸

技术编号:30540138 阅读:46 留言:0更新日期:2021-10-30 13:17
本发明专利技术提供一种数据存储方法、数据存储装置、存储介质及产品。该方法包括:接收主机端设备发送的数据写入请求,并将所述数据写入请求对应的待写入初始数据块进行压缩获得压缩数据块;根据初始数据块的大小和压缩数据块的大小确定数据压缩率;根据所述压缩率从预设的多个流缓冲中确定匹配的流缓冲,并将所述压缩数据块写入匹配的流缓冲对应的缓冲空间中;将所述对应的缓冲空间中的压缩数据块存储至对应的存储空间内。本发明专利技术的方法,基于数据压缩率将数据进行分类,将数据压缩率相同或相近的数据分配至相应的流缓冲中,进而存储至相应的存储空间,不需要对应用或者文件系统内核的写入路径进行修改,使得分类存储过程更加便捷。使得分类存储过程更加便捷。使得分类存储过程更加便捷。

【技术实现步骤摘要】
数据存储方法、数据存储装置、存储介质及产品


[0001]本专利技术涉及计算机存储
,尤其涉及一种数据存储方法、数据存储装置、存储介质及产品。

技术介绍

[0002]随着计算机技术和互联网技术的快速发展,各行各业对存储设备的容量和性能要求越来越高。固态硬盘经过多年的发展,其容量和性价比都在不断提升,在很多系统中已逐渐代替传统的磁盘,成为主流的存储设备。固态硬盘一般是以闪存(NAND Flash)作为永久性存储介质。闪存由于其固有的物理特性,使得固态硬盘需要垃圾回收机制对空间进行回收。目前提高垃圾回收效率通常会进行分类存储,由主机提供ID信息,存储设备根据ID信息将数据分类存放。
[0003]上述基于ID信息进行分类存储的过程中需要对应用、文件系统进行修改,使得整个过程操作复杂,不够便捷。

技术实现思路

[0004]本专利技术提供一种数据存储方法、数据存储装置、存储介质及产品,用以解决现有的分类存储流程操作复杂,不够便捷的问题。
[0005]第一方面,本专利技术提供一种数据存储方法,包括:
[0006]接收主机端设备发送的数据写入请求,并将所述数据写入请求对应的待写入初始数据块进行压缩获得压缩数据块;
[0007]根据初始数据块的大小和压缩数据块的大小确定数据压缩率;
[0008]根据所述压缩率从预设的多个流缓冲中确定匹配的流缓冲,并将所述压缩数据块写入匹配的流缓冲对应的缓冲空间中;
[0009]将所述对应的缓冲空间中的压缩数据块存储至对应的存储空间内
[0010]第二方面,本专利技术提供一种数据存储装置,包括:
[0011]数据压缩单元,用于接收主机端设备发送的数据写入请求,并将所述数据写入请求对应的初始数据块进行压缩获得压缩数据块;
[0012]计算单元,用于根据初始数据块的大小和压缩数据块的大小确定数据压缩率;
[0013]流分配单元,用于根据所述压缩率从多个流缓冲中确定匹配的流缓冲,并将所述压缩数据块写入匹配的流缓冲对应的缓冲空间中;
[0014]数据写入单元,用于将所述对应的缓冲空间中的压缩数据块存储至对应的存储空间内。
[0015]第三方面,本专利技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
[0016]第四方面,本专利技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程
序被处理器执行时实现第一方面所述的方法。
[0017]本专利技术提供的一种数据存储方法、数据存储装置、存储介质及产品,通过接收主机端设备发送的数据写入请求,将数据写入请求对应的待写入初始数据块进行压缩处理,获得压缩数据块,根据初始数据块的大小和压缩数据块的大小计算数据压缩率,进一步根据数据压缩率从预设的多个流缓冲中确定匹配的流缓冲,将压缩数据块写入匹配的流缓冲对应的缓冲空间中,之后将对应的缓冲空间中的压缩数据块存储至对应的存储空间内。由于不同类型的数据,数据压缩率往往也是有区别的。基于数据压缩率可将数据进行分类,将数据压缩率相同或相近的数据分配至相应的流缓冲中,进而存储至相应的存储空间,能够将不同类型的数据存储到不同的存储空间,不需要对应用或者文件系统内核的写入路径进行修改,使得分类存储过程更加便捷。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
[0019]图1是本专利技术提供的数据存储方法的网络架构示意图;
[0020]图2是本专利技术实施例一提供的数据存储方法的流程示意图;
[0021]图3是本专利技术流缓冲和存储空间示意图;
[0022]图4是本专利技术实施例二提供的数据存储方法的流程示意图;
[0023]图5是本专利技术实施例四提供的数据存储方法的流程示意图;
[0024]图6是本专利技术实施例五提供的数据存储方法的流程示意图;
[0025]图7是本专利技术实施例六提供的数据存储方法的流程示意图;
[0026]图8是本专利技术实施例七提供的数据存储方法的流程示意图;
[0027]图9是本专利技术缓冲空间示意图;
[0028]图10是本专利技术实施例八提供的数据存储方法的流程示意图;
[0029]图11是本专利技术一实施例提供的数据存储装置的结构示意图。
[0030]通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
[0031]这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0032]现有技术中,固态硬盘一般是以闪存作为永久性存储介,闪存由于其物理特性,写入其中的数据无法进行原址更新,因而如果旧的数据进行更新,需要将更新的数据写入新的地址,所以固态硬盘需要垃圾回收机制对旧空间进行回收。现有的存储系统将数据压缩后写入存储设备中,这些数据包括元数据、用户数据、应用程序的日志等。为了提升垃圾回收的效率,通常会对写入的数据进行分类存储,现有的分类存储主要是由主机提供信息例
如数据对应的ID信息,存储设备根据ID信息将存储数据分开存储。
[0033]而现有技术中,基于ID信息将写入的数据分离存储的过程中,需要对应用或者文件系统内核的写入路径进行修改,因此并不适用于大量的存储业务,整个过程操作复杂,不够便捷。
[0034]所以针对现有技术中的分类存储流程操作复杂,不够便捷的技术问题,专利技术人在研究中发现,压缩算法固定的情况下,对于不同类型的数据,压缩情况也是不同,例如文件系统的元数据,不易压缩压缩性能差,有些容易压缩的数据压缩性能好,通过计算压缩前后的数据压缩率,数据压缩率相同或者相近可认为是相同类型的数据,将相同类型的数据写入与压缩率匹配的流缓冲对应的缓冲空间中,进一步存储至与流缓冲对应的存储空间内,基于数据压缩率将压缩数据块分类存储,相同类型的数据生命周期相近,即数据更新频率近似,将数据压缩率相同或相近的数据分配至相应的流缓冲中,进而存储至相应的存储空间,不需要对应用或者文件系统内核的写入路径进行修改,使得分类存储过程更加便捷。
[0035]所以专利技术人基于上述的创造性发现,提出了本专利技术实施例的技术方案。下面对本专利技术实施例提供的数据存储方法的网络架构及应用场景进行介绍。
[0036]如图1所示,本专利技术实施例提供的数据存储方法对应的网络架构中包括:压缩存储设备1及主机端设备2,压缩存储设备1为主机端设备2的外存,压缩存储设备1与主机端设备2可通过总线连本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,所述方法包括:接收主机端设备发送的数据写入请求,并将所述数据写入请求对应的待写入初始数据块进行压缩获得压缩数据块;根据初始数据块的大小和压缩数据块的大小确定数据压缩率;根据所述压缩率从预设的多个流缓冲中确定匹配的流缓冲,并将所述压缩数据块写入匹配的流缓冲对应的缓冲空间中;将所述对应的缓冲空间中的压缩数据块存储至对应的存储空间内。2.根据权利要求1所述的方法,其特征在于,所述将所述数据写入请求对应的待写入初始数据块进行压缩获得压缩数据块,包括:获取压缩存储设备对应的压缩粒度和所述初始数据块的大小;根据所述压缩粒度和所述初始数据块的大小确定是否对所述初始数据块进行分块处理;若否,则对所述初始数据块进行压缩获得压缩数据块;若是,则对所述初始数据块进行分块处理获得多个对应的初始数据块,对所述多个对应的初始数据块进行压缩获得多个对应的压缩数据块。3.根据权利要求2所述的方法,其特征在于,所述根据所述压缩粒度和所述初始数据块的大小确定是否对所述初始数据块进行分块处理,包括:将所述初始数据块的大小与所述压缩粒度进行比较;若所述初始数据块的大小等于或小于所述压缩粒度,则确定所述初始数据块无需进行分块处理;若所述初始数据块的大小大于所述压缩粒度,则确定所述初始数据块需进行分块处理。4.根据权利要求2所述的方法,其特征在于,所述对所述初始数据块进行分块处理获得多个对应的初始数据块,包括:根据所述压缩粒度和所述初始数据块的大小计算分块数;按照所述分块数对所述初始数据块进行分块处理获得多个对应的初始数据块。5.根据权利要求1所述的方法,其特征在于,所述根据初始数据块的大小和压缩数据块的大小确定数据压缩率,包括:计算所述压缩数据块的大小与所述初始数据块的大小的比值;将所述比值确定为所述数据压缩率。6.根据权利要求1所述的方法,其特征在于,所述根据所述压缩率从预设的多个流缓冲中确定匹配的流缓冲,包括:获取所述多个流缓冲对应的预设压缩率范围;将所述数据压缩率与所述多个预设压缩率范围进行匹配,并将匹配的压缩率范围对应的流缓冲确...

【专利技术属性】
技术研发人员:郑宁王晋强李庆军
申请(专利权)人:锐掣杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1