一种基于大数据的具有保密性的数据压缩系统技术方案

本发明专利技术公开了一种基于大数据的具有保密性的数据压缩系统，包括分割模块，所述分割模块用于将系统内待压缩的数据分割成区块，分割之后的区块数据将通过转换模块转换加密成对应样本。该基于大数据的具有保密性的数据压缩系统，加密模块根据分割模块对数据进行分割时的具体时间、IP地址以及数据的类型作为加密要素对分割成区块的数据进行加密，然后将加密之后的样本数据块进行压缩，并以此提高压缩数据传输时的安全性，同时当需要对压缩数据进行解压时需上传密钥，并以此进一步提高数据的安全性，删除模块将在对压缩模块压缩完成解压模块完成解压时产生的备份仪器其他相关数据的信息以及解压模块解压产生的信息进行同步删除，进而提高系统保密性。进而提高系统保密性。进而提高系统保密性。

【技术实现步骤摘要】
一种基于大数据的具有保密性的数据压缩系统


[0001]本专利技术涉及数据压缩
，具体为一种基于大数据的具有保密性的数据压缩系统。

技术介绍

[0002]数据压缩是指在不丢失信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率的一种技术方法，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间，随着数据量和数据产生速度的不断增长，数据的存储与分析对数据压缩提出了更高的性能需求，一方面，数据压缩能够显著减小数据在磁盘的存储空间，另一方面，数据压缩能够降低数据在网络及数据分析系统中传输的带宽需求。
[0003]经检索，发现现有技术中的数据压缩系统典型的如公开号CN112600938A一种数据压缩系统，属于数据压缩
；包括信息采集模块、信息处理模块、压缩分配模块、存储分配模块、历史记录模块、服务器、数据存储模块以及数据共享模块；服务器为企业内部通讯服务器，信息采集模块与服务器直接相连，用于采集企业内通讯数据信息，其主要特点是将通讯数据文件进行压缩方式以及存储位置的判定，避免了通讯数据文件积累存储占用空间大。
[0004]综上所述，现有的数据压缩系统压缩之后的数据包大多为公开的，从而在进行传输时面临数据被窃取的风险，进而使得数据的保密性较差，针对上述问题，需要对现有设备进行改进。

技术实现思路

[0005]本专利技术的目的在于提供一种基于大数据的具有保密性的数据压缩系统，以解决上述
技术介绍
中提出的现有的数据压缩系统压缩之后的数据包大多为公开的，从而在进行传输时面临数据被窃取的风险，进而使得数据的保密性较差的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于大数据的具有保密性的数据压缩系统，包括：
[0007]分割模块，所述分割模块用于将系统内待压缩的数据分割成区块，分割之后的区块数据将通过转换模块转换加密成对应样本，同时对应样本的加密通过接入大数据的加密模块完成；
[0008]压缩模块，所述压缩模块对转换模块转换加密后的对应样本进行压缩，同时压缩模块输出目标压缩数据时输出模块将同步输出对应的密钥；
[0009]上传模块，所述上传模块用于在解压模块解压数据前对密钥上传至分析模块处，分析模块将对密钥进行分析，密钥正确后将通过解压模块对当前压缩文件进行解压，当密钥不正确时将返回至上传模块等待使用者再次上传密钥，当密钥输入次数达到三次仍不正确时，系统将停止对该压缩数据的解压；
[0010]删除模块，所述删除模块用于对压缩模块压缩完成解压模块完成解压时产生的备
份仪器其他相关数据的信息进行同步删除，同时删除模块可根据使用者需求进入系统对其启用进行进行设定。
[0011]优选的，所述分割模块的分割算法为：
[0012][0013]其中，其中N为样本数，K是簇数，rnk表示n属于第k个簇，μk是第k个中心点的值。
[0014]优选的，所述的分割模块的分割逻辑为：把n的对象根据他们的属性分为k个分割，k＜no算法的核心就是要优化失真函数J使其收敛到局部最小值但不是全局最小值。
[0015]优选的，所述压缩模块使用最优前缀码的对数据进行压缩，且其压缩公式为：
[0016][0017]其中，Pi为第i个字符得概率，li为码长。
[0018]优选的，所述压缩模块的最优前缀编码码的二叉树总是一棵完全二叉树,而定长编码的二叉树不是一棵完全二叉树，给定编码字符集C及频率分布f,C的一个前缀码编码方案对应于一棵二叉树T。
[0019]优选的，所述加密模块的加密根据分割模块对数据进行分割时的具体时间、IP地址以及数据的类型，加密模块输出的数据密钥受上述三种因素的影响，因此加密模块输出的密钥具有独特性。
[0020]优选的，所述加密模块输出的密钥将通过生成模块生成对应的数值，同时生成的数值将以输出模块为端口输出。
[0021]优选的，所述加密模块的加密公式为：
[0022]S＝{P,C,K,E,D}
[0023]其中，P为明文空间，表示全体可能出现的明文集合,C为密文空间，表示全体可能出现的密文集合,K为密钥空间，密钥是加密算法中的可变参数,E为加密算法，由一些公式、法则或程序构成,D为解密算法，它是E的逆。
[0024]优选的，所述加密模块S＝{P,C,K,E,D}给定密钥kiK时，各符号之间有如下关系:
[0025]C＝Ek(P)
[0026]对明文P加密后得到密文C，其中P＝Dk(C)＝Dk(Ek(P)),对密文C解密后得到明文P，如用E
‑
1表示E的逆，则有:Ek＝Dk
‑
1且Dk＝Ek
‑
1。
[0027]所述的一种基于大数据的具有保密性的数据压缩系统的使用方法，包括以下步骤，
[0028]S1：分割模块通过分割算法将待压缩的数据分割成区块，分割之后的区块数据将输出至转换模块内，同时加密模块将把转换模块内接收的区块数据转换加密成对应样本，同时加密之后的对应样本最终将通过压缩模块完成压缩；
[0029]S2：加密模块加密样本产生的对应的密钥将通过通过生成模块生成对应的数值，同时生成的数值将以输出模块为端口输出，此时压缩模块的压缩工作结束；
[0030]S3：当需要对压缩之后的数据进行解压时，可通过上传模块将密钥上传至分析模块处，即在解压模块解压数据前，当密钥不正确时将返回至上传模块等待使用者再次上传
密钥，当密钥输入次数达到三次仍不正确时，系统将停止对该压缩数据的解压；
[0031]S4：密钥正确后将通过解压模块对当前压缩文件进行解压，删除模块用于对压缩模块解压时产生的信息以及解压模块解压产生的信息进行同步删除，并以此提高数据的保密性。
[0032]与现有技术相比，本专利技术的有益效果是：该基于大数据的具有保密性的数据压缩系统，
[0033]本专利技术通过加密模块、分析模块和删除模块的配合使用可有效解决现有的数据压缩系统压缩之后的数据包大多为公开的，从而在进行传输时面临数据被窃取的风险，进而使得数据的保密性较差的问题，加密模块根据分割模块对数据进行分割时的具体时间、IP地址以及数据的类型作为加密要素对分割成区块的数据进行加密，然后将加密之后的样本数据块进行压缩，并以此提高压缩数据传输时的安全性，同时当需要对压缩数据进行解压时使用者需上传加密模块加密此数据输出的密钥，并以此进一步提高数据的安全性，最后删除模块将在对压缩模块压缩完成解压模块完成解压时产生的备份仪器其他相关数据的信息以及解压模块解压产生的信息进行同步删除，进而提高系统的保密性。
附图说明
[0034]图1为本专利技术分割模块与解压模块之间的控制关系工作流程示意图；
[0035]图2为本专利技术加密模块的内部结构成示意图；
[0036]图3为本专利技术上传模块、分析模块和解压模块之间的控制关系工作流程示意图；
[0037]图4为本专利技术解压模块、删除模块和压本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的具有保密性的数据压缩系统，其特征在于，包括：分割模块(1)，所述分割模块(1)用于将系统内待压缩的数据分割成区块，分割之后的区块数据将通过转换模块(2)转换加密成对应样本，同时对应样本的加密通过接入大数据的加密模块(4)完成；压缩模块(3)，所述压缩模块(3)对转换模块(2)转换加密后的对应样本进行压缩，同时压缩模块(3)输出目标压缩数据时输出模块(6)将同步输出对应的密钥；上传模块(7)，所述上传模块(7)用于在解压模块(9)解压数据前对密钥上传至分析模块(8)处，分析模块(8)将对密钥进行分析，密钥正确后将通过解压模块(9)对当前压缩文件进行解压，当密钥不正确时将返回至上传模块(7)等待使用者再次上传密钥，当密钥输入次数达到三次仍不正确时，系统将停止对该压缩数据的解压；删除模块(10)，所述删除模块(10)用于对压缩模块(3)压缩完成解压模块(9)完成解压时产生的备份仪器其他相关数据的信息进行同步删除，同时删除模块(10)可根据使用者需求进入系统对其启用进行进行设定。2.根据权利要求1所述的一种基于大数据的具有保密性的数据压缩系统，其特征在于：所述分割模块(1)的分割算法为：其中，其中N为样本数，K是簇数，rnk表示n属于第k个簇，μk是第k个中心点的值。3.根据权利要求1所述的一种基于大数据的具有保密性的数据压缩系统，其特征在于：所述分割模块(1)的分割逻辑为：把n的对象根据他们的属性分为k个分割，k＜no算法的核心就是要优化失真函数J使其收敛到局部最小值但不是全局最小值。4.根据权利要求1所述的一种基于大数据的具有保密性的数据压缩系统，其特征在于：所述压缩模块(3)使用最优前缀码的对数据进行压缩，且其压缩公式为：其中，Pi为第i个字符得概率，li为码长。5.根据权利要求1所述的一种基于大数据的具有保密性的数据压缩系统，其特征在于：所述压缩模块(3)的最优前缀编码码的二叉树总是一棵完全二叉树,而定长编码的二叉树不是一棵完全二叉树，给定编码字符集C及频率分布f,C的一个前缀码编码方案对应于一棵二叉树T。6.根据权利要求1所述的一种基于大数据的具有保密性的数据压缩系统，其特征在于：所述加密模块(4)的加密根据分割模块(1)对数据进行分割时的具体时间、IP地址以及数据的类型，加密模块(4)输出的数据密钥受上述三种因素的影响，因此加密模块(...

【专利技术属性】
技术研发人员：李海，沈弘，罗远雄，
申请(专利权)人：深圳市双银科技有限公司，
类型：发明
国别省市：