数据压缩方法及相关设备技术

本发明专利技术实施例提供一种数据压缩方法，方法包括：获取待压缩数据，所述待压缩数据包括多个类型的字段；对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度；按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据。通过对待压缩数据中各类型字段的离散度进行计算，按预设的压缩策略对离散度低于预设阈值的目标类型字段进行压缩，得到待压缩数据对应的压缩数据，从而使得待压缩数据的数据量下降，从而解决现有技术中网闸的网络IO压力大，IO速度慢的问题，同时，可以保留离散度不低于预设阈值的非目标类型字段中的信息，避免待压缩数据在压缩过程中失真。避免待压缩数据在压缩过程中失真。避免待压缩数据在压缩过程中失真。

Data compression method and related equipment

【技术实现步骤摘要】
数据压缩方法及相关设备


[0001]本专利技术涉及数据处理领域，尤其涉及一种数据压缩方法及相关设备。

技术介绍

[0002]为了管理和记录由公安网向视频专网发起的请求，公安系统引入了网闸这一中间件，原理如图1所示。公安网的系统向网闸发起请求，请求参数中带有视频专网的目标url和请求参数，网闸接收到该请求后，会解析该请求，并发起一个带有params参数的请求，发送至视频专网目标url，然后将响应结果原路返回至公安网的请求发起者。由于网闸支撑了多个公司多套系统从公安网访问视频专网的需求，使是网闸的网络IO压力大，IO速度慢。

技术实现思路

[0003]本专利技术实施例提供一种数据压缩方法，通过对待压缩数据中各类型字段的离散度进行计算，按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到待压缩数据对应的压缩数据，从而使得待压缩数据的数据量下降，从而解决现有技术中网闸的网络IO压力大，IO速度慢的问题，同时，可以保留离散度不低于预设阈值的非目标类型字段中的信息，避免待压缩数据在压缩过程中失真。
[0004]第一方面，本专利技术实施例提供一种数据压缩方法，所述方法包括：
[0005]获取待压缩数据，所述待压缩数据包括多个类型的字段；
[0006]对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度；
[0007]按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据。
[0008]进一步的，所述对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度，包括：
[0009]提取所述待压缩数据中各类型字段的值，根据所述的待压缩数据中各类型字段的值确定所述待压缩数据中各类型字段的取值范围；
[0010]根据所述待压缩数据中各类型字段的取值范围，计算所述待压缩数据中各类型字段的离散度。
[0011]进一步的，所述按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据，包括：
[0012]根据目标类型字段的离散度，得到所述目标类型字段的编码范围；
[0013]根据所述编码范围对所述目标类型字段进行编码压缩，得到所述目标类型字段的压缩字段；
[0014]将非目标类型的字段与所述压缩字段进行组合处理，得到所述待压缩数据对应的压缩数据。
[0015]进一步的，在所述将非目标类型的字段与所述压缩字段进行组合处理之后，所述
方法包括：
[0016]获取待发送数据序列，所述待发送数据序列包括所述非目标类型的字段与所述压缩字段进行组合后的待发送数据；
[0017]根据预设的排序策略对所述待发送数据序列中的待发送数据进行排序，得到目标数据序列。
[0018]进一步的，所述根据预设的排序策略对所述待发送数据序列中的待发送数据进行排序，得到目标数据序列，包括：
[0019]根据所述压缩字段的编码范围以及所述压缩字段在所述待发送数据中的位置，得到所述待发送数据的有序数组；
[0020]通过所述有序数据组对所述待发送数据进行排序，得到目标数据序列。
[0021]进一步的，所述根据所述压缩字段的编码范围以及所述压缩字段在所述待发送数据中的位置，得到所述待发送数据的有序数组，包括：
[0022]根据所述压缩字段的编码范围，确定所述压缩字段的可取值范围；
[0023]根据所述压缩字段在所述待发送数据中的位置顺序，确定所述压缩字段在有序数组中的位置；
[0024]基于所述可取值范围以及所述在有序数组中的位置，得到所述待发送数据的有序数组。
[0025]进一步的，所述通过所述有序数组对所述待发送数据进行排序，得到目标数据序列，包括：
[0026]对所述有序数组进行初始化，得到初始化的有序数组；
[0027]在初始化的有序数组中以预设方向对所述待发送数据进行排序，得到目标数据序列。
[0028]第二方面，本专利技术实施例提供一种数据压缩装置，所述装置包括：
[0029]第一获取模块，用于获取待压缩数据，所述待压缩数据包括多个类型的字段；
[0030]计算模块，用于对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度；
[0031]压缩模块，用于按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据。
[0032]第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例提供的数据压缩方法中的步骤。
[0033]第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现专利技术实施例提供的数据压缩方法中的步骤。
[0034]本专利技术实施例中，获取待压缩数据，所述待压缩数据包括多个类型的字段；对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度；按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据。通过对待压缩数据中各类型字段的离散度进行计算，按预设的压缩策略对离散度低于预设阈值的目标类型字段进行压缩，得到待压缩数据对应的压缩数据，从而使得待
压缩数据的数据量下降，从而解决现有技术中网闸的网络IO压力大，IO速度慢的问题，同时，可以保留离散度不低于预设阈值的非目标类型字段中的信息，避免待压缩数据在压缩过程中失真。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术实施例提供的一种现有消息过网闸的原理图；
[0037]图2是本专利技术实施例提供的一种数据压缩方法的流程图；
[0038]图3是本专利技术实施例提供的一种数据压缩装置的结构示意图；
[0039]图4是本专利技术实施例提供的一种计算模块的结构示意图；
[0040]图5是本专利技术实施例提供的一种压缩模块的结构示意图；
[0041]图6是本专利技术实施例提供的另一种数据压缩装置的结构示意图；
[0042]图7是本专利技术实施例提供的一种排序模块的结构示意图；
[0043]图8是本专利技术实施例提供的一种第二处理子模块的结构示意图；
[0044]图9是本专利技术实施例提供的一种排序子模块的结构示意图；
[0045]图10是本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0046]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括以下步骤：获取待压缩数据，所述待压缩数据包括多个类型的字段；对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度；按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据。2.如权利要求1所述的数据压缩方法，其特征在于，所述对所述待压缩数据中各类型字段的离散度进行计算，得到所述各类型字段的离散度，包括：提取所述待压缩数据中各类型字段的值，根据所述的待压缩数据中各类型字段的值确定所述待压缩数据中各类型字段的取值范围；根据所述待压缩数据中各类型字段的取值范围，计算所述待压缩数据中各类型字段的离散度。3.如权利要求2所述的数据压缩方法，其特征在于，所述按预设的压缩策略对离散度低于预设阈值的目标类型字段进行编码压缩，得到所述待压缩数据对应的压缩数据，包括：根据目标类型字段的离散度，得到所述目标类型字段的编码范围；根据所述编码范围对所述目标类型字段进行编码压缩，得到所述目标类型字段的压缩字段；将非目标类型的字段与所述压缩字段进行组合处理，得到所述待压缩数据对应的压缩数据。4.如权利要求3所述的数据压缩方法，其特征在于，在所述将非目标类型的字段与所述压缩字段进行组合处理之后，所述方法包括：获取待发送数据序列，所述待发送数据序列包括所述非目标类型的字段与所述压缩字段进行组合后的待发送数据；根据预设的排序策略对所述待发送数据序列中的待发送数据进行排序，得到目标数据序列。5.如权利要求4所述的数据压缩方法，其特征在于，所述根据预设的排序策略对所述待发送数据序列中的待发送数据进行排序，得到目标数据序列，包括：根据所述压缩字段的编码范围以及所述压...

【专利技术属性】
技术研发人员：张航，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：