一种基于数据压缩和数据去冗协同的存储优化方法技术

本发明专利技术提出了一种基于数据压缩和数据去冗协同的存储优化方法。本方法会在数据压缩机制起作用之前判断是否需要进行数据去冗余。给定一批需要压缩的数据块，本方法首先会基于采样来估算性能开销较高的数据去冗余机制的收益，并判断是否值得进行数据去冗余：如果值得，就对全部给定数据块先进行去冗余，然后再压缩，否则就直接进行压缩。本发明专利技术通过协同原本独立的两套减少数据存储量的机制，能够最大化数据存储的效率。

【技术实现步骤摘要】
一种基于数据压缩和数据去冗协同的存储优化方法
本专利技术涉及计算机数据处理领域，特别是一种基于数据压缩和数据去冗协同的存储优化方法。
技术介绍
提高物理介质的有限的容量的利用率,当前有两种主流的方法，分别为数据去冗余(DataDeduplication)和数据压缩(DateCompression)。其中数据去冗余是通过对数据块进行扫描检查，以hash值作为特征组织数据块，发现多个相同的数据块，通过间接引用的方式合并成一块，进而节省整个存储的空间，。而数据压缩依赖于现有的数据压缩算法(如LZW)，尝试压缩数据块，如果压缩率高于阈值，就保存压缩后的数据块，并释放原来数据块空间，以达到节省空间的目的。数据压缩技术相比较数据块去冗技术在节约存储资源上有不同的特性差异：前者相对反应迅速，有较稳定的数据压缩比，；而后者需要找到两个完全相同的数据块，因此必须扫描所有数据块，扫描过程持续时间长，且在不同的场景下数据压缩比有较大差异，在某些场景下有前者无法比拟的压缩比，然在另外一些场景下则几乎没有压缩效果。因此，实际的应用中，这两种方法无法互相替代。在考虑压缩速度、计算代价、压缩比等多种因素的情况下，为了达到更高效率的存储压缩，需要考虑这两种方法在实际应用中的协同性问题。实际中要同时使用这两种方法并不能简单的让它们先后执行。如果单纯的先用数据压缩，再进行数据去冗余，会导致节约数据空间效果没有达到最好。而单纯的先进行数据去冗余，再进行数据压缩又不能保证时间效率。在同时使用这两种方法时需要一种方法来协调调度它们，在进行数据去冗余前需要做出判断，只有判断认为消耗时间进行数据去冗余是有价值的，再进行数据去冗余，否则进行数据压缩。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是当前数据压缩机制与数据去冗余机制并不协同工作的缺陷，用一种基于数据压缩和数据去冗协同的存储优化方法来协调调度，在进行数据去冗余前需要做出判断，只有判断认为消耗时间进行数据去冗余是有价值的，再进行数据去冗余，否则进行数据压缩。为了解决上述技术问题，本专利技术公开了一种基于数据压缩和数据去冗协同的存储优化方法，包括以下步骤：步骤1，假设计算机在某个情况下需要回收释放存储介质(内存、磁盘)中N个数据块的空间来存储更多的新数据，候选的可用于释放的数据块集合DSet包含M个数据块(M>N)，则此次处理期望释放出的数据存储比率S＝N/M。设置采样比率阈值R，0％＜R≤100％，数据去冗余执行百分比阈值P，0％＜P≤100％；步骤2，使用系统提供的随机发生器，产生随机种子，填入伪随机算法产生一个数据块随机扫描序列Block1、Block2、…BlockM；步骤3，选择一个快速的去冗扫描的哈希算法H，对前M×R个数据块Block1、Block2、…BlockM×R进行扫描，计算每个数据块的哈希值H(Block1)、H(Block2)…H(BlockM×R)；步骤4，将所有数据块哈希值，逐个插入到查找数据结构；在插入过程中，如果有相同的哈希值，则进一步判断是否哈希函数为加密强度哈希算法(如MD5、SHA1)，如果是加密强度，则将其中一个数据块作为冗余数据块处理，并跳转至步骤6；如果不是加密强度则继续步骤5；如果没有相同的哈希值，则将该哈希值作为查找数据结构的一个键值插入到结构中；步骤5，逐字节比对哈希值相同的数据块内容，如果数据块内容也相同，那么将其中一个数据块作为冗余数据块处理；如果数据块内容不相同，则将该哈希值作为查找数据结构的一个键值插入到结构中；步骤6，统计步骤4和5中的所有冗余数据块的数量，计数为C；计算实际冗余度E＝C/(M×R)，如果P≤E，则扫描数据块序列BlockM×R+1、BlockM×R+2、…BlockM，计算每个数据块对应的哈希值，将所有数据块哈希值，插入到查找数据结构；在插入过程中，如果有相同的哈希值，则进一步判断是否哈希函数为加密强度哈希算法(如MD5、SHA1)，如果是加密强度，则将其中一个数据块作为冗余数据块处理，如果不是加密强度则需要进一步逐字节比对所对应的内存数据块内容，如果内存数据块内容也相同，那么将其中一个数据块作为冗余数据块处理；如果没有相同的哈希值或者逐字节比较的数据块内容不一样，则将该哈希值作为查找数据结构的一个键值插入到结构中；并统计剩余冗余计数为C’，所有数据块扫描完成以后，得出的尚未释放的数据块集合，定义为Dset’；如果P>E那么，令实际节省的数据存储空间比率Q＝0，并跳转至步骤8；步骤7，计算出实际节省的数据存储空间比率Q，Q＝(C+C')/M，如果S≤Q，则已经回收超过N个数据块，结束，否则，如果S>Q，则继续步骤8；步骤8，选择针对内存的快速压缩算法Z，逐个扫描并压缩数据块集合Dset’，针对每个数据块压缩以后的数据块BZi＝Z(Blocki)，其中i为Dset’中任意一个合法的索引值即Blocki∈Dset’。释放数据块Blocki并将数据块BZi写入至存储设备。此过程持续直到释放空闲出的数据块数量大于N。数据块集合DSet的载体为任意用以存储数据的物理设备。有益效果：本专利技术适用于需要进一步节省存储空间的软件系统中，其主要有益效果体现在：对数据压缩和数据去冗余两种方法进行协作，比简单组合这两种方法，提供更好的时间效率和存储效率。本方法能够协同两类不同的存储优化方法，优化更加完善。根据不同的具体实施场景，数据去冗机制与数据压缩可以自适应不同的阈值S与P进行协同工作。本方法不限定特定的数据去冗机制算法与压缩算法，具有具体算法的普遍适用性。附图说明图1为本专利技术处理流程图。具体实施方式本专利技术提出了一种基于数据压缩和数据去冗协同的存储优化方法。本方法会在数据压缩机制起作用之前判断是否需要进行数据去冗余。给定一批需要压缩的数据块，本方法首先会基于采样来估算性能开销较高的数据去冗余机制的收益，并判断是否值得进行数据去冗余：如果值得，就对全部给定数据块先进行去冗余，然后再压缩，否则就直接进行压缩。本专利技术通过协同原本独立的两套减少数据存储量的机制，能够最大化数据存储的效率。如图1所示，本专利技术公开了一种基于数据压缩和数据去冗协同的存储优化方法，包括以下步骤：步骤1，假设计算机在某个情况下需要回收释放存储介质(内存、磁盘)中N个数据块的空间来存储更多的新数据，候选的可用于释放的数据块集合DSet包含M个数据块(M>N)，则此次处理期望释放出的数据存储比率S＝N/M。设置采样比率阈值R，0％＜R≤100％，数据去冗余执行百分比阈值P，0％＜P≤100％；步骤2，使用系统提供的随机发生器，产生随机种子，填入伪随机算法产生一个数据块随机扫描序列Block1、Block2、…BlockM；步骤3，选择一个快速的去冗扫描的哈希算法H，对前M×R个数据块Block1、Block2、…BlockM×R进行扫描，计算每个数据块的哈希值H(Block1)、H(Block2)…H(BlockM×R)；步骤4，将所有数据块哈希值，逐个插入到查找数据结构；在插入过程中，如果有相同的哈希值，则进一步判断是否哈希函数为加密强度哈希算法(如MD5、SHA1)，如果是加密强度，则将其中一个数据块作为冗余数据块处理，并跳转至步骤6；如果本文档来自技高网...

【技术保护点】
一种基于数据压缩和数据去冗协同的存储优化方法，其特征在于，包含以下步骤：步骤1，假设计算机需要回收释放存储介质中N个数据块的空间，候选的可用于释放的数据块集合DSet包含M个数据块，M>N，则此次处理期望释放出的数据存储比率S＝N/M；设置采样比率阈值R，0％＜R≤100％，数据去冗余执行百分比阈值P，0％＜P≤100％；步骤2，使用随机发生器产生随机种子，填入伪随机算法产生一个数据块随机扫描序列Block1、Block2、…BlockM；步骤3，选择一个快速的去冗扫描的哈希算法H，对前M×R个数据块Block1、Block2、…BlockM×R进行扫描，计算每个数据块的哈希值H(Block1)、H(Block2)…H(BlockM×R)；步骤4，将所有数据块哈希值，逐个插入到查找数据结构；在插入过程中，如果有两个数据块的哈希值相同，则进一步判断哈希函数是否为加密强度哈希算法，如果是，则将其中一个数据块作为冗余数据块处理，并跳转至步骤6；如果否，则继续步骤5；如果没有两个数据块的哈希值相同，则将该哈希值作为查找数据结构的一个键值插入到查找数据结构中，继续步骤6；步骤5，逐字节比对哈希值相同的数据块内容，如果数据块内容相同，那么将其中一个数据块作为冗余数据块处理；如果数据块内容不相同，则将该哈希值作为查找数据结构的一个键值插入到数据结构中；步骤6，统计步骤4和5中的所有冗余数据块的数量，计数为C；计算实际冗余度E＝C/(M×R)，如果P≤E，则扫描剩余的数据块序列BlockM×R+1、BlockM×R+2、…BlockM，计算每个数据块对应的哈希值，将所有数据块哈希值，插入到查找数据结构；在插入过程中，两个数据块的哈希值相同，则进一步判断是否哈希函数为加密强度哈希算法，如果是，则将其中一个数据块作为冗余数据块处理，如果不是，则进一步逐字节比对所对应的内存数据块内容；如果内存数据块内容相同，则将其中一个数据块作为冗余数据块处理；如果没有两个数据块的哈希值相同或者逐字节比较的数据块内容不一样，则将该哈希值作为查找数据结构的一个键值插入到结构中；并统计剩余冗余计数为C’，所有数据块扫描完成以后，得出的尚未释放的数据块集合，定义为数据块集合Dset’；如果P>E那么，令实际节省的数据存储空间比率Q＝0，并跳转至步骤8；步骤7，计算出实际节省的数据存储空间比率Q，Q＝(C+C')/M，如果S≤Q，则已经回收超过N个数据块，结束，否则，如果S>Q，则继续步骤8；步骤8，选择针对内存的快速压缩算法Z，逐个扫描并压缩数据块集合Dset’，针对每个数据块压缩以后的数据块BZi＝Z(Blocki)，其中i为数据块集合Dset’中任意一个合法的索引值即Blocki∈Dset’；释放数据块Blocki并将数据块BZi写入至存储设备，此过程持续直到释放空闲出的数据块数量大于N。...

【技术特征摘要】
1.一种基于数据压缩和数据去冗协同的存储优化方法，其特征在于，包含以下步骤：步骤1，假设计算机需要回收释放存储介质中N个数据块的空间，候选的可用于释放的数据块集合DSet包含M个数据块，M>N，则此次处理期望释放出的数据存储比率S＝N/M；设置采样比率阈值R，0％＜R≤100％，数据去冗余执行百分比阈值P，0％＜P≤100％；步骤2，使用随机发生器产生随机种子，填入伪随机算法产生一个数据块随机扫描序列Block1、Block2、…BlockM；步骤3，选择一个快速的去冗扫描的哈希算法H，对前M×R个数据块Block1、Block2、…BlockM×R进行扫描，计算每个数据块的哈希值H(Block1)、H(Block2)…H(BlockM×R)；步骤4，将所有数据块哈希值，逐个插入到查找数据结构；在插入过程中，如果有两个数据块的哈希值相同，则进一步判断哈希函数是否为加密强度哈希算法，如果是，则将其中一个数据块作为冗余数据块处理，并跳转至步骤6；如果否，则继续步骤5；如果没有两个数据块的哈希值相同，则将该哈希值作为查找数据结构的一个键值插入到查找数据结构中，继续步骤6；步骤5，逐字节比对哈希值相同的数据块内容，如果数据块内容相同，那么将其中一个数据块作为冗余数据块处理；如果数据块内容不相同，则将该哈希值作为查找数据结构的一个键值插入到查找数据结构中；步骤6，统计步骤4和5中的所有冗余数据块的数量，计数为C；计算实际冗余度E＝C/(M×R)，如...

【专利技术属性】
技术研发人员：夏耐，姜承祥，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32