对数据进行压缩的方法、装置及设备制造方法及图纸

本发明专利技术公开了一种对数据进行压缩的方法、装置及设备。涉及数据压缩技术领域。包括：获取待压缩数据；获取待比较数据；所述待比较数据与所述待压缩数据至少包括一个相同格式的目标字段；确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，得到差异信息；任意一个差异信息占用的字节数小于所述任意一个差异信息对应的目标字段占用的字节数；基于所述差异信息，对所述待压缩数据进行数据压缩。本发明专利技术可以提高数据压缩率，缓解存储压力。力。力。

【技术实现步骤摘要】
对数据进行压缩的方法、装置及设备


[0001]本申请涉及数据压缩
，尤其涉及一种对数据进行压缩的方法、装置及设备。

技术介绍

[0002]某些业务数据，如自动驾驶场景下会产生大量的数据。以路侧感知设备感知到的数据为例，每天可能产生GB级的数据，现有技术中直接采用Winzip等压缩工具进行压缩，压缩后数据量依然比较巨大，对存储造成压力。
[0003]因此，亟需一种对数据进行压缩的方法，来进一步提高压缩率，缓解存储压力。

技术实现思路

[0004]为解决上述技术问题，本说明书实施例提出了一种对数据进行压缩的方法、装置及设备。可以对提高对数据的压缩率，缓解存储压力。
[0005]本说明书实施例提供的一种对数据进行压缩的方法，包括：
[0006]获取待压缩数据；
[0007]获取待比较数据；所述待比较数据与所述待压缩数据至少包括一个相同格式的目标字段；
[0008]确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，得到差异信息；任意一个差异信息占用的字节数小于所述任意一个差异信息对应的目标字段占用的字节数；
[0009]基于所述差异信息，对所述待压缩数据进行数据压缩。
[0010]本说明书实施例提供的一种计算机装置，包括：
[0011]第一获取模块，用于获取待压缩数据；
[0012]第二获取模块，用于获取待比较数据；所述待比较数据与所述待压缩数据至少包括一个相同格式的目标字段；
[0013]第一确定模块，用于确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，得到差异信息；任意一个差异信息占用的字节数小于所述任意一个差异信息对应的目标字段占用的字节数；
[0014]第一压缩模块，用于基于所述差异信息，对所述待压缩数据的所述目标字段进行数据压缩。
[0015]本说明书实施例提供的一种计算机设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现以上所描述的方法的步骤。
[0016]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：在对数据进行压缩时，先通过第一预设方法确定待压缩数据与待比较数据的差异信息，只保存差异信息形成待压缩数据的预压缩数据，这一步减小了数据量，再采用现有的数据压缩方法对预压缩数据进一步压缩。相对于只采用现有的数据压缩方法压缩率高。
附图说明
[0017]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本说明书实施例提供的一种对数据进行压缩的方法的流程示意图；
[0019]图2为本说明书实施例提供的一种对数据进行压缩的方法的流程框架图；
[0020]图3为本说明书实施例提供的一种计算机装置的结构示意图；
[0021]图4为本说明书实施例提供的计算机设备/系统的结构示意图。
具体实施方式
[0022]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0023]以下所述的实施例仅是对本专利技术的优选方式进行描述，并非对本专利技术的范围进行限定，在不脱离本专利技术设计精神的前提下，本领域普通技术人员对本专利技术的技术方案做出的各种变形和改进，均应落入本专利技术权利要求书确定的保护范围内。
[0024]为了解决现有技术中的缺陷，本方案给出了以下实施例：
[0025]图1为本说明书实施例提供的一种对数据进行压缩的方法的流程示意图。
[0026]从硬件角度而言，该流程的执行主体可以是设备，从程序角度而言，可以是该设备处搭载的应用程序。参照图1，该流程可以包括以下步骤：
[0027]步骤101：获取待压缩数据。
[0028]获取待压缩数据，可以指一条一条地获取数据。对于某些业务的数据而言，是由一条一条的数据构成的，或者可以被划分为一条一条的数据。每条数据可以包括一个或一个以上的字段。不同条数据之间在对应的位置存在一个或多个相同格式的字段，且不同条数据中相同格式的字段存在一定的变化规律。参照图2，图2中的数据为待压缩数据，具体为路侧感知设备感知到的关于车辆的数据，其中一行数据可以理解为一条数据，每行数据中一个表格内的数据可以称为字段。从左边第一列开始，分别代表时间戳、日期、时刻、标识、经度、纬度、朝向、时间、宽度、长度、高度和类型，其中时间戳字段的变化规律为缓慢递增。
[0029]步骤103：获取待比较数据；所述待比较数据与所述待压缩数据至少包括一个相同格式的目标字段。
[0030]待比较数据可以为获取的一条待压缩数据之前的一条数据。假设有N条数据，可以从第二条数据开始进行压缩，第一条数据可以直接复制存储。此时可以将第一条数据作为第二条至第K条数据的待比较数据；然后将第K条数据作为第K+1条至第I条数据的待比较数据...依次类推。或者，将获取的一条待压缩数据的前一条数据作为待比较数据，例如将第一条数据作为第二条数据的待比较数据，将第二条数据作为第三条数据的待比较数据...此处的相同格式是指两个字段均为整数、均为精度相同的小数、均为时间格式等。
[0031]需要说明的是，在某些时候也可以从第一条数据开始压缩，当第一条数据存在某个目标字段的格式需要转换时，只需将该目标字段进行格式转换，第一条数据的其他字段直接复制存储即可，即可得到该条数据的预压缩数据。
[0032]步骤105：确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，得到差异信息；任意一个差异信息占用的字节数小于所述任意一个差异信息对应的目标字段占用的字节数。
[0033]基于第一预设方法确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，得到差异信息。第一预设方法是基于各条数据中对应字段的类型以及变化规律预先设置的。例如图2中的关于车辆中的各条数据，第一个字段为时间戳，均为整数类型，其变化规律为发生缓慢变化，即一条数据的时间戳与其上一条数据的时间戳变化较小。
[0034]步骤107：基于所述差异信息，对所述待压缩数据进行数据压缩。
[0035]对于获取的一条待压缩数据而言，可以只存储差异信息形成该条待压缩数据的预压缩数据。然后再对形成的多条预压缩数据进行进一步数据压缩。在对形成的多条预压缩数据进行数据压缩时，可以采用现有的压缩方法。需要说明的是，此步骤中，可以先将差异信息作为该条待压缩数据的预压缩数据，完成对多条待压缩数据的预压本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对数据进行压缩的方法，其特征在于，包括：获取待压缩数据；获取待比较数据；所述待比较数据与所述待压缩数据至少包括一个相同格式的目标字段；确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，得到差异信息；任意一个差异信息占用的字节数小于所述任意一个差异信息对应的目标字段占用的字节数；基于所述差异信息，对所述待压缩数据进行数据压缩。2.如权利要求1所述的方法，其特征在于，所述确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，具体包括：对于按照第一规则变化的整数类的所述目标字段，计算所述目标字段与待比较字段的差值。3.如权利要求1所述的方法，其特征在于，所述确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，具体包括：对于按照第二规则变化的小数类的所述目标字段，将所述目标字段中的小数点向后移第一阈值位，以使所述目标字段转化为整数类型的数据，计算所述目标字段与待比较字段的差值。4.如权利要求1所述的方法，其特征在于，所述确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，具体包括：对于前缀相似类的所述目标字段，将所述目标字段与待比较字段从第一个字符开始向后就进行比较，直至第一次出现所述目标字段的字符与所述待比较字段对应的字符不同。5.如权利要求1所述的方法，其特征在于，所述确定所述待压缩数据与所述待比较数据中的各个对应的目标字段的差异，具体包括：对于后缀相似类的所述目标字段，将所述目标字段与待比较字段从最后一个字符开始向前进行比较...

【专利技术属性】
技术研发人员：郎睿，
申请(专利权)人：云控智行科技有限公司，
类型：发明
国别省市：