一种数据压缩方法、数据解压方法及相关系统技术方案

本发明专利技术实施例公开了一种数据压缩方法、数据解压方法及相关系统，用于最大可能的消除相似数据间的冗余，提高数据的压缩率。本发明专利技术实施例方法包括：将原数据分为多个数据块；确认多个数据块中的相同数据块；删除重复的相同数据块，使得原数据中保留一个所述相同数据块；将相同数据块的相邻数据块迁移重组，生成重组数据；对重组数据进行压缩，得到压缩数据。本发明专利技术还提供了一种数据解压的方法及相关系统，用于配合数据压缩方法，提高数据的压缩率。

A data compression method, data decompression method and related system

The embodiment of the invention discloses a data compression method, a data decompression method and a related system, which are used to eliminate redundancy between similar data and improve data compression rate. The embodiment of the invention comprises: raw data into multiple data blocks; confirm multiple data blocks in the same data block; delete the same data block repeatedly, making one of the same data block to retain the original data in the same data block; adjacent data blocks transfer into data reorganization, restructuring; to compress the data compression and data reorganization. The invention also provides a method of data decompression and related systems, which can be used to compress the data and improve the compression rate of data.

【技术实现步骤摘要】
一种数据压缩方法、数据解压方法及相关系统
本专利技术涉及计算机数据处理
，尤其涉及一种数据压缩方法、数据解压方法及相关系统。
技术介绍
数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。目前的数据压缩技术主要分为有损压缩和无损压缩，现有的无损压缩技术大多由基于字典编码技术LZ77和LZ78发展而来。字典编码技术主要采用一种基于“滑动窗口”的缓存技术，将当前字符序列与滑动窗口内缓存的字符序列进行匹配，如果重复，则用一个相对短的编码来表示，从而实现字符串级的冗余消除。而现有的无损压缩技术中滑动窗口的大小，主要限制了冗余数据的查找，一方面，滑动窗口越大意味着越容易找到冗余数据，从而可以更多地消除冗余，但随着滑动窗口的增大，冗余字符串的匹配查找时间也呈指数增长，因此大多数压缩算法限制了滑动窗口的大小，例如bzip2的最大滑动窗口为900KB；另一方面，滑动窗口太小，不同窗口内的冗余数据因为相距较远而无法消除，存储系统中仍存在大量的冗余数据，同时，传统压缩多是字节级/字本文档来自技高网...

【技术保护点】
一种数据压缩方法，其特征在于，包括：将原数据分为多个数据块；确认所述多个数据块中的相同数据块；删除重复的相同数据块，使得所述原数据中保留一个所述相同数据块；将所述相同数据块的相邻数据块迁移重组，生成重组数据；对所述重组数据进行压缩，得到压缩数据。

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：将原数据分为多个数据块；确认所述多个数据块中的相同数据块；删除重复的相同数据块，使得所述原数据中保留一个所述相同数据块；将所述相同数据块的相邻数据块迁移重组，生成重组数据；对所述重组数据进行压缩，得到压缩数据。2.根据权利要求1所述的方法，其特征在于，在所述将原数据分为多个数据块之后，所述确认所述多个数据块中的相同数据块之前，所述方法还包括：记录所述多个数据块的第一顺序、第一偏移及块长，生成原文件谱。3.根据权利要求2所述的方法，其特征在于，在所述将所述相同数据块的相邻数据块迁移重组，生成重组数据之后，所述方法，还包括：记录所述重组数据中所述多个数据块的第二顺序、第二偏移及块长，生成重组文件谱；根据所述重组文件谱中所述多个数据块的第二顺序，将所述原文件谱中的所述第一偏移更新为第三偏移，生成新原文件谱；将所述新原文件谱进行压缩，得到压缩文件谱。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述确认所述多个数据块中的相同数据块，包括：通过SHA-1算法或MD5算法确认所述多个数据块中的相同数据块。5.一种数据解压方法，其特征在于，包括：将压缩数据和压缩文件谱进行解压，得到重组数据和新原文件谱；根据所述新原文件谱记录的多个数据块的第一顺序、第三偏移及块长，依次从所述重组数据中读取所述多个数据块；将所述多个数据块，根据所述新原文件谱中记录的所述多个数据块的第一顺序依次写入，得...

【专利技术属性】
技术研发人员：夏文，韩子衿，吴大立，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东,44