数据处理方法技术

本发明专利技术实施例提出了数据处理方法，所述方法包括：获取当前待编码字符，根据静态统计模型，对当前待编码字符对应的初始编码空间进行划分，以获得下一待编码字符对应的初始编码空间；将下一待编码字符作为当前待编码字符，根据所述字符的统计模型，对当前待编码字符对应的初始编码空间进行划分，以获得下一待编码字符对应的初始编码空间，直到待编码数据中字符全部编码完毕，获得编码结果；根据第一系数，待编码数据中各个字符出现的频率，各个符号的累积频度以及初始编码空间的大小计算编码系数；将所述编码系数，所述编码结果以及待编码数据长度作为编码输出。所述方法进一步提高了数据的压缩率，使得压缩效果更好。

Data processing method

The embodiment of the invention provides a data processing method, the method comprises: acquiring the encoding characters, according to the static statistical model, partition the space to the corresponding character encoding encoding, in order to obtain the next to the initial encoding space corresponding to the character encoding; next to encoding characters as current encoding characters. According to the statistical model for the character, partition the space to the corresponding character encoding encoding, in order to obtain the next to the initial encoding space corresponding to the character encoding, character encoding data until all encoding is completed, according to the first results obtained encoding; coefficient of different characters to encoding data in frequency calculation, encoding the cumulative frequency coefficient of each symbol and the initial encoding space size; the coefficient of the encoding, the encoding and encoding results Data length is encoded output. The method further improves the compression ratio of the data, and makes the compression effect better.

【技术实现步骤摘要】
数据处理方法
本专利技术涉及数据处理领域，具体而言，涉及无损数据处理方法。
技术介绍
当前区间编码以及算术编码虽然能对数据进行一定程度的压缩，但是其压缩率并不高。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供无损数据处理方法，以解决上述问题。第一方面，本专利技术实施例提供的一种数据处理方法，所述方法包括：对初始编码空间进行空间扩展得到扩展后的空间，根据所述字符的静态统计模型，对扩展后的初始编码空间进行划分，以获得当前待编码字符对应的编码空间；对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间；根据所述字符的统计模型，对所述扩展后的编码空间进行划分，以获得下一待编码字符对应的编码空间；将下一待编码字符作为当前待编码字符，直到所述待编码数据中字符全部编码完毕，获得编码结果；将所述编码结果、待编码数据长度以及第一统计参数作为编码输出，所述第一统计参数为所述待编码数据中包含1的个数。第二方面，本专利技术实施例提供的一种数据处理方法，所述方法包括：获取编码输出，所述编码输出包括编码结果、待编码数据长度以及第一统计参数，所述第一统计参数为所述待编码数据中包含1的个数；根据初始解码空间的大小、所述各个符号的累积频度、第二统计参数以及第一系数获得当前解码空间，所述第二统计参数为待编码数据中包含字符种类的个数，所述第一系数为常数或者根据函数关系式计算的函数值，所述符号的累积频度是指符号值小于所述符号的值的其它符号的频度之和；根据第一统计参数、待编码数据长度、根据第一系数的增量函数关系得到解码阈值；将所述编码结果与所述解码阈值进行比较，得到解码输出；更新当前解码空间，更新解码阈值，得到更新后的解码阈值，判断所述编码结果是否大于等于所述更新后的解码阈值，得出解码输出，直到所述第一统计参数为零，解码完成。与现有技术相比，本专利技术实施例提供的数据处理方法，通过在编码时对编码空间进行扩展，来改变编码输出，使得编码输出进一步被压缩，压缩率变大。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是本专利技术实施例提供的一种数据处理终端的方框图。图2是本专利技术第一实施例提供的一种数据处理方法的流程图。图3是本专利技术第一实施例提供的一种数据处理方法的部分流程图。图4是本专利技术第二实施例提供的一种数据处理方法的流程图。图5是本专利技术第一实施例提供的一种数据处理装置的功能模块示意图。图6是本专利技术第二实施例提供的一种数据处理装置的功能模块示意图。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。如图1所示，是数据处理终端的方框示意图。所述数据处理终端包括数据处理装置、存储器220、存储控制器230、处理器240。所述存储器220、存储控制器230、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器中或固化在所述服务器200的操作系统(operatingsystem，OS)中的软件功能模块。所述处理器240用于执行存储器220中存储的可执行模块，例如所述数据处理装置包括的软件功能模块或计算机程序。其中，存储器220可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。其中，存储器220用于存储程序，所述处理器240在接收到执行指令后，执行所述程序，前述本专利技术实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器中，或者由处理器实现。处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本专利技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。图2示出了本专利技术一实施例提供的一种数据处理方法的流程图，所述方法包括：步骤S301，对初始编码空间进行空间扩展得到扩展后的空间，根据所述字符的静态统计模型，对扩展后的初始编码空间进行划分，以获得当前待编码字符对应的编码空间；优选的，所述静态统计模型为所述待编码数据中各个字符出现的频度的统计模型。例如：定义S表示符号集合；Ls表示S集合符号个数，例如待编码数据为010001010010，则s＝{0,1}，Ls＝2，假设静态模型为：fk＝1,k∈[0,Ls)，则：f0＝1，f1＝1。可以理解的是，可以把结束符也作为符号算进所述符号集合中，即此时静态模型fk＝1，k∈[0，Ls)，Ls＝3，s＝{0，1，2}，其中符号集合S中的2代表结束符，在解码时，可以将解码出所述结束符作为标志来判断解码是否结束。其中，对初始编码空间进行空间扩展得到扩展后的空间的实施方式有多种，例如可以将初始编码空间的大小乘以第一系数得到扩展后的空间大小，扩展后的空间的下限与初始编码空间的下限相同，扩展后的空间的上限为所述扩展后的下限加上扩展后的空间大小。步骤S302，对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间；根据所述字符的统计模型，对所述扩展后的编码空间进行划分，以获得下一待编码字符对应的编码空间。其中，所述对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间的实施方式有多种，下面简单介绍两种实施方式，但是，可本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：对初始编码空间进行空间扩展得到扩展后的空间，根据所述字符的静态统计模型，对扩展后的初始编码空间进行划分，以获得当前待编码字符对应的编码空间；对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间；根据所述字符的统计模型，对所述扩展后的编码空间进行划分，以获得下一待编码字符对应的编码空间；将下一待编码字符作为当前待编码字符，直到所述待编码数据中字符全部编码完毕，获得编码结果；将所述编码结果、待编码数据长度以及第一统计参数作为编码输出，所述第一统计参数为所述待编码数据中包含1的个数。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：对初始编码空间进行空间扩展得到扩展后的空间，根据所述字符的静态统计模型，对扩展后的初始编码空间进行划分，以获得当前待编码字符对应的编码空间；对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间；根据所述字符的统计模型，对所述扩展后的编码空间进行划分，以获得下一待编码字符对应的编码空间；将下一待编码字符作为当前待编码字符，直到所述待编码数据中字符全部编码完毕，获得编码结果；将所述编码结果、待编码数据长度以及第一统计参数作为编码输出，所述第一统计参数为所述待编码数据中包含1的个数。2.根据权利要求1所述的方法，其特征在于，所述静态统计模型为所述待编码数据中各个字符出现的频度的统计模型。3.根据权利要求1所述的方法，其特征在于，所述直到所述待编码数据中字符全部编码完毕获得编码结果，包括：当所述待编码数据中最后一个字符编码完成后，将所述最后一个字符对应的编码空间的下限作为编码结果。4.根据权利要求1所述的方法，其特征在于，所述对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间，包括：根据所述当前编码字符对应的编码空间的空间大小以及第一系数，得到扩展后的编码空间的空间大小；根据所述初始编码空间的区间大小、所述各个符号的累积频度、第二统计参数以及第一系数，获得所述扩展后的编码空间的下限值，所述第二统计参数为待编码数据中包含字符种类的个数，所述符号的累积频度是指符号值小于所述符号的值的其它符号的频度之和；根据所述扩展后的编码空间的下限以及所述扩展后的编码空间的区间大小，得的所述扩展后的编码空间的上限。5.根据权利要求1所述的方法，其特征在于，所述对所述当前编码字符对应的编码空间进行扩展，得到扩展后的编码空间，包括：根据所述初始编码空间的区间大小、所述各个符号的累积频度、第二统计参数以及第一系数，获得所述扩展后的编码空间的下限值以及上限值，所述第二统计参数为待编码数据中包含字...

【专利技术属性】
技术研发人员：王杰林，
申请(专利权)人：湖南千年华光软件开发有限公司，
类型：发明
国别省市：湖南,43