一种数据压缩方法、装置、终端设备及存储介质制造方法及图纸

本申请尤其涉及一种数据处理方法、装置、终端设备及存储介质，适用于数据压缩技术领域，能够有效地提高压缩算法的效率，从而解决现有压缩技术压缩速度慢、压缩延时大的问题。该方法包括：将输入的待压缩文件进行切割处理，得到M个第一文件段，每个所述第一文件段包括文件段信息和文件段数据；根据所述M个第一文件段的文件段信息对所述M个第一文件段进行编码压缩处理，得到所述M个第一文件段的压缩文件段；根据所述M个第一文件段的文件段信息对得到的M个压缩文件段进行拼接，得到J个拼接文件。

【技术实现步骤摘要】
一种数据压缩方法、装置、终端设备及存储介质
本申请属于数据压缩
，尤其涉及一种数据压缩方法、装置、终端设备及存储介质。
技术介绍
随着多媒体和信息技术的不断发展，处于互联网环境中的个人和机构每天均会产生大量数据，而大规模的数据则给储存设备和通信交换系统都带来巨大压力。为此，一般会对产生的数据进行适当压缩，以降低数据对存储空间的需求和节约数据传输所需的带宽。目前，海量的数据压缩任务主要由中央处理器(CPU)来执行，但因数据较为庞大，CPU的资源经常被过多占用，导致其它需使用CPU资源的操作因分配不到CPU资源而一直滞后处理。故，在面对海量的数据压缩任务时，还会采用硬件压缩算法来进行数据的压缩，以在缩短压缩时间的同时减轻CPU资源的占用。但硬件压缩算法亦存在不足的地方，一般的，现有的硬件压缩算法并行化的方法是在压缩装置汇总设置多个硬件压缩模块，以文件为单位分配至各个压缩模块并行压缩多个文件，该方法虽可以提高压缩带宽，但并不能解决单个文件的压缩过长的问题。故此，如何有效地提高压缩算法的效率，从而解决现有压缩技术压缩速度慢、压缩延时大的问题，是应对现有互联网海量数据冲击的关键。
技术实现思路
本申请实施例提供了一种数据压缩方法、装置、终端设备及存储介质，以解决解决现有压缩技术压缩速度慢、压缩延时大的问题。第一方面，本申请实施例提供了一种数据压缩方法，包括：将输入的待压缩文件进行切割处理，得到M个第一文件段，M≥1，M为整数，每个所述第一文件段包括文件段信息和文件段数据；>根据所述M个第一文件段的文件段信息对所述M个第一文件段进行编码压缩处理，得到所述M个第一文件段的压缩文件段；根据所述M个第一文件段的文件段信息对得到的M个压缩文件段进行拼接，得到J个拼接文件，J≥1，J为整数。与现有技术相比，本申请实施例产生的有益效果包括：当检测到存在待压缩文件正在输入时，即响应对所述待压缩文件进行切割处理，得到若干个第一文件段，以便于将若干个所述第一文件段进行分别压缩处理，这样可以有效地减少文件流压缩需要的缓存资源，更重要的是还可以以缩短单个待压缩文件的压缩延时，实现对文件流的低延时压缩，从而在保证压缩性能的前提下实现高带宽的数据压缩。第二方面，本申请实施例提供了一种数据压缩装置，所述装置包括：切分模块，用于将输入的待压缩文件进行切割处理，得到M个第一文件段，M≥1，M为整数，每个所述第一文件段包括文件段信息和文件段数据；压缩模块，用于根据所述M个第一文件段的文件段信息对所述M个第一文件段进行编码压缩处理，得到所述M个第一文件段的压缩文件段；拼接模块，用于根据所述M个第一文件段的文件段信息对得到的M个压缩文件段进行拼接，得到J个拼接文件，J≥1，J为整数。第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及并行字典压缩系统，其特征在于，所述处理器用于实现对所述独立芯片调控，以使所述并行字典压缩系统运行，所述存储器用于缓存所述并行字典压缩系统实现所述的数据压缩方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有并行字典压缩系统，所述并行字典压缩系统被处理器调控执行时实现所述的数据压缩方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的数据压缩方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提供的数据压缩方法的应用环境示意图；图2是本申请一实施例提供的并行字典压缩系统的结构示意图；图3是本申请另一实施例提供的数据压缩方法的流程示意图；图4是本申请一实施例提供的切割待压缩文件的示意图；图5是本申请另一实施例提供的数据压缩装置的结构示意图；图6是本申请实施例提供的终端设备的结构图。图7是本申请一实施例提供的切分模块的结构示意图；图8是本申请一实施例提供的拼接模块的结构示意图；图9是本申请一实施例提供的并行字典压缩模块组的结构示意图；图10是本申请一实施例提供的对数据编码压缩的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。本申请实施例中数据压缩方法的执行主体为终端设备，所述终端设备与客户端通讯连接，且所述终端设备中包含并行滑动窗口字典压缩系统。所述终端设备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmentedreality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer，UMPC)、上网本、个人数字助理(personaldigitalassistant，PDA)等终端设备中的任一种，或是插在电脑、服务器、工作站或互联网、通讯系统上的板卡。本申请实施例对终端设备的具体类型不作任何限制。结合图1和图2，该方法在终端设备1中实现对文件流的压缩编码处理。所述终端设备1中包含处理器11、所述并行字本文档来自技高网...

【技术保护点】
1.一种数据压缩方法，其特征在于，所述方法包括：/n将输入的待压缩文件进行切割处理，得到M个第一文件段，M≥1，M为整数，每个所述第一文件段包括文件段信息和文件段数据；/n根据所述M个第一文件段的文件段信息对所述M个第一文件段进行编码压缩处理，得到所述M个第一文件段的压缩文件段；/n根据所述M个第一文件段的文件段信息对得到的M个压缩文件段进行拼接，得到J个拼接文件，J≥1，J为整数。/n

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：
将输入的待压缩文件进行切割处理，得到M个第一文件段，M≥1，M为整数，每个所述第一文件段包括文件段信息和文件段数据；
根据所述M个第一文件段的文件段信息对所述M个第一文件段进行编码压缩处理，得到所述M个第一文件段的压缩文件段；
根据所述M个第一文件段的文件段信息对得到的M个压缩文件段进行拼接，得到J个拼接文件，J≥1，J为整数。


2.如权利要求1所述的数据压缩方法，其特征在于，所述将输入的待压缩文件进行切割，得到M个第一文件段，包括：
将输入的待压缩文件切割为M个第二文件段；
从第二个文件段开始，依次将相邻两个第二文件段中的前一个文件段的尾部数据复制，并将复制的尾部数据与后一个第二文件段拼接，得到一个所述第一文件段；
确定所述M个第二文件段中的首个文件段和得到的M-1个所述第一文件段，为所述M个第一文件段。


3.如权利要求2所述的数据压缩方法，其特征在于，所述将输入的待压缩文件切割为M个第二文件段，包括：
在所述待压缩文件输入的过程中，根据预设的文件大小，每当所述待压缩文件输入所述预设的文件大小，对所述待压缩文件进行一次切割，得到一个第二文件段，直至所述待压缩文件完成输入，切割得到M个所述第二文件段。


4.如权利要求3所述的数据压缩方法，其特征在于，所述在所述待压缩文件输入的过程中，根据预设的文件大小，每当所述待压缩文件输入所述预设的文件大小，对所述待压缩文件进行一次切割，得到一个第二文件段，还包括：
所述待压缩文件输入的过程中，当所述待压缩文件的文件大小或所述待压缩文件的剩余文件大小小于所述预设的文件大小时，根据所述待压缩文件的文件大小或所述待压缩文件的剩余文件大小对所述待压缩文件进行一次切割，得到一个第二文件段，直至所述待压缩文件完成输入，切割得到M个所述第二文件段。


5.如权利要求1所述的数据压缩方法，其特征在于，所述根...

【专利技术属性】
技术研发人员：高兵团，桂挡平，郭鹏程，杜强，李玲，
申请(专利权)人：深圳市科楠科技开发有限公司，
类型：发明
国别省市：广东;44