提高数据重复率的方法技术

本发明专利技术涉及一种提高数据重复率的方法

【技术实现步骤摘要】
提高数据重复率的方法、数据压缩方法及数据解压缩方法


[0001]本专利技术涉及数据处理
，特别涉及一种提高数据重复率的方法
、
数据压缩方法及数据解压缩方法
。

技术介绍

[0002]由于数字化的多媒体信息，尤其是数字视频
、
音频信号的数据量特别庞大，如果不对其进行有效的压缩就难以得到实际的应用
。
因此，数据压缩技术已成为当今数字通信
、
广播
、
存储和多媒体娱乐中的一项关键的共性技术
。
众所周知，数据重复率越高数据压缩的效果就越好，即相同的数据越多压缩后的数据量越小，因此，可以通过提升数据重复率的方式来间接提升数据压缩效果
。
然而，目前的研究人员都关注于数据压缩本身，对于高重复率的数据压缩效果好，而对于低重复率甚至毫无重复率的数据压缩效果相对较差
。

技术实现思路

[0003]本专利技术的目的在于解决现有技术中针对低重复率的数据压缩效率低的问题，提供一种提高数据重复率的方法
、
数据压缩方法及数据解压缩方法，通过对原始数据进行改造以提升数据重复率，继而间接提高数据压缩效率
。
[0004]为了实现上述专利技术目的，本专利技术实施例提供了以下技术方案：
[0005]第一方面，本专利技术实施例提供了一种提高数据重复率的方法，包括以下步骤：
[0006]获取待压缩的原始数据，以设定步长对原始数据进行分组，得到若干个数据组；
[0007]基于预先制定的改造策略，对各个数据组的数据进行改造，所述改造策略中的改造方式包括包括取反或对换，得到改造后的数据
。
[0008]上述方案中，通过对原始数据通过取反或对换的方式进行改造，可以大大提高改造后数据中相同数据组的重复率，因此基于改造后的数据进行压缩，可以大大提高压缩效率
。
[0009]所述改造策略包括以下中的任一项或多项：奇数位置的数据按位取反，偶数位置的数据按位取反，奇数比特位的数据进行按位取反，偶数比特位的数据进行按位取反，奇数比特位的数与偶数比特位的数对换，奇数位置的数据的奇数比特位进行按位取反，偶数位置的数据的偶数比特位进行按位取反，奇数位置的数据的偶数比特位进行按位取反，偶数位置的数据的奇数比特位进行按位取反
。
[0010]上述方案中，改造策略有多项，提供多种改造方式，针对不同的原始数据可以选用更适合的改造项目，可以进一步提高相同数据组的重复率
。
[0011]改造策略还包括改造标识数，一个改造项目对应一个改造标识数，改造项目与改造标识数共同构成一条改造策略
。
[0012]上述方案中，针对每一个改造项目对应有一个改造标识数，在数据解压缩时，即可以根据改造标识数进行数据还原，既方便于数据还原操作，又保障了还原的准确性
。
[0013]所述改造策略包括至少两条，依次基于每条改造策略对原始数据进行改造，并统
计改造后的数据的重复率，选择重复率最高的一条或多条改造策略对原始数据进行改造
。
[0014]上述方案中，通过先针对于每一条改造策略进行数据改造，然后选择重复率最高的一条或多条改造策略对原始数据进行改造，可以最大程度地提高相同数据组的重复率
。
[0015]第二方面，本专利技术实施例提供了一种数据压缩方法，包括以下步骤：
[0016]采用任一实施方式所述的提高数据重复率的方法对待压缩的原始数据进行改造，得到改造后的数据；
[0017]对改造后的数据进行压缩处理，得到压缩后的数据
。
[0018]上述方案中，在压缩之前先对原始数据进行改造，使得改造后的数据的重复率更大，继而相对于直接对原始数据进行压缩，对改造后的数据进行压缩可以提高压缩效率，提升压缩效果
。
[0019]所述对改造后的数据进行压缩处理，得到压缩后的数据，包括以下步骤：
[0020]S20
，统计改造后的数据中各个数据组重复出现的频次，并按照出现频次由高到低，对重复出现的若干个数据组进行排序，得到排序标识数据；
[0021]S30
，对改造后的数据中出现频次相邻的数据组进行替换操作，且将出现频次较低的数据组替换为出现频次较高的数据组，得到替换后的新数据；并按照改造后的数据不替换则替换标识设置为0，否则替换标识设置为1的原则，得到改造后的数据的替换标识数据；
[0022]S40
，依次对新数据中相同的数据组进行压缩及设置压缩标识，并将被压缩的数据组从新数据中剔除，直到只剩最后一个相同的数据组时结束本轮压缩；且每一次压缩过程中，被压缩的数据组的压缩标识设置为1，其它未被压缩的数据组的压缩标识设置为0；
[0023]S50
，将每次压缩所得的压缩标识进行合并，得到压缩标识数据
。
[0024]上述方案中，通过对改造后的数据进行重复频率统计，以及将重复率相对较低的数据组替换为重复率较高的数据组，这样可以将改造后的数据的数据重复率进一步提高，因此可以有效提高其数据压缩率
。
另外，在对相同数据组进行压缩的过程中，被压缩的数据组的压缩标识设置为1，其它未被压缩的数据组的压缩标识设置为0，这样可以使得压缩标识数据中0的个数比1的个数多得多
(
重复率低，因此不相同的数据组更多
)
，数据中0多则意味着含0多的数据重复率高，因此可以进一步提高压缩效率
。
当然，在对相同数据组进行压缩的过程中，被压缩的数据组的压缩标识也可以设置为0，其它未被压缩的数据组的压缩标识设置为
1。
[0025]更优选的方案中，还包括步骤
S60
，判断
B
Y
+B
P
+B
T
＞
B
S
是否成立，如果不是，则将压缩标识数据按所述设定步长为一组进行划分，得到新数据，并返回步骤
S40
，循环执行步骤
S40
‑
S60
；如果是，则结束压缩，最终所得的压缩标识数据即为由原始数据压缩后的数据；
B
Y
为压缩标识数据的位数，
B
P
为排序标识数据的位数，
B
T
为替换标识数据的位数，
B
S
为改造后的数据的总位数
。
[0026]当
B
Y
+B
P
+B
T
＞
B
S
不成立时需要进行再次压缩，多次压缩可以进一步降低压缩后的数据量，提升数据压缩的意义
。
[0027]第三方面，本专利技术同时提供了一种数据解压缩方法，包括以下步骤：
[0028]对压缩后的数据进行解压缩处理，得到改造后的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种提高数据重复率的方法，其特征在于，包括以下步骤：获取待压缩的原始数据，以设定步长对原始数据进行分组，得到若干个数据组；基于预先制定的改造策略，对各个数据组的数据进行改造，所述改造策略中的改造方式包括包括取反或对换，得到改造后的数据
。2.
根据权利要求1所述的提高数据重复率的方法，其特征在于，所述改造策略包括以下中的任一项或多项：奇数位置的数据按位取反，偶数位置的数据按位取反，奇数比特位的数据进行按位取反，偶数比特位的数据进行按位取反，奇数比特位的数与偶数比特位的数对换，奇数位置的数据的奇数比特位进行按位取反，偶数位置的数据的偶数比特位进行按位取反，奇数位置的数据的偶数比特位进行按位取反，偶数位置的数据的奇数比特位进行按位取反
。3.
根据权利要求2所述的提高数据重复率的方法，其特征在于，改造策略还包括改造标识数，一个改造项目对应一个改造标识数，改造项目与改造标识数共同构成一条改造策略
。4.
根据权利要求3所述的提高数据重复率的方法，其特征在于，所述改造策略包括至少两条，依次基于每条改造策略对原始数据进行改造，并统计改造后的数据的重复率，选择重复率最高的一条或多条改造策略对原始数据进行改造
。5.
根据权利要求1所述的提高数据重复率的方法，其特征在于，所述设定步长为8个比特位
。6.
一种数据压缩方法，其特征在于，包括以下步骤：采用权利要求1‑5任一所述的提高数据重复率的方法对待压缩的原始数据进行改造，得到改造后的数据；对改造后的数据进行压缩处理，得到压缩后的数据
。7.
根据权利要求6所述的数据压缩方法，其特征在于，所述对改造后的数据进行压缩处理，得到压缩后的数据，包括以下步骤：
S20
，统计改造后的数据中各个数据组重复出现的频次，并按照出现频次由高到低，对重复出现的若干个数据组进行排序，得到排序标识数据；
S30
，对改造后的数据中出现频次相邻的数据组进行替换操作，且将出现频次较低的数据组替换为出现频次较高的数据组，得到替换后的新数据；并按照改造后的数据不替换则替换标识设置为0，否则替换标识设置为1的原则，得到改造后的数据的替换标识数据；
S40
，依次对新数据中相同的数据组进行压缩及设置压缩标识，并将被压缩的数据组从新数据中剔除，直到只剩最后一个相同的数据组时结束本轮压缩；且每一次压缩过程中，被压缩的数据组的压缩标识设置为1，其它未被压缩的数据组的压缩标识设置为0；
S50
，将每次压缩所得的压缩标识进行合并，得到压缩标识数据
。8.
根据权利要求7所述的数据压缩方法，其特征在于，所述步骤
S20
中，还包括步骤
S60
，判断
B
Y
+B
P
+B
T
＞
B
S
是否成立，如果不是，则将压缩标识数据按所述设定步长为一组进行划分，得到新...

【专利技术属性】
技术研发人员：张白，高峰，康学亮，
申请(专利权)人：北方民族大学，
类型：发明
国别省市：