【技术实现步骤摘要】
【国外来华专利技术】一种数据的处理方法、系统、编码器及解码器
本申请涉及数据处理
，具体而言，涉及一种数据的处理方法、系统、编码器及解码器。
技术介绍
随着神经网络技术的发展，神经网络模型的规模越来越庞大；以CNN(ConvolutionalNeuralNetworks，卷积神经网络)网络为例，其中权重数据为主要参数，参数规模大，在参数读写过程中占用带宽高，对硬件的计算和存储能力要求较高，进而限制了神经网络模型的应用。因此，如何在不影响网络卷积神经网络模型的计算准确率的前提下，减小卷积神经网络模型的运算规模，对加快硬件设备的计算处理速度和节省存储资源以及扩大卷积神经网络的应用范围，具有重要的意义。
技术实现思路
有鉴于此，本专利技术的目的之一是提供一种数据的处理方法、系统、编码器及解码器，以实现对待编码数据进行有效压缩。第一方面，本专利技术实施例中提供了一种数据处理的方法，包括：获取多个第一编码方式对于待编码数据块的编码开销，从所述多个第一编码方式中确定编码开销最小的目标编码方式；通过所述目标编码方式对...
【技术保护点】
1.一种数据处理的方法，其特征在于，包括：/n获取多个第一编码方式对于待编码数据块的编码开销，从所述多个第一编码方式中确定编码开销最小的目标编码方式；/n通过所述目标编码方式对所述待编码数据块进行编码。/n
【技术特征摘要】
【国外来华专利技术】1.一种数据处理的方法，其特征在于，包括：
获取多个第一编码方式对于待编码数据块的编码开销，从所述多个第一编码方式中确定编码开销最小的目标编码方式；
通过所述目标编码方式对所述待编码数据块进行编码。
2.根据权利要求1所述的方法，其特征在于，所述编码开销为所述待编码数据块进行编码后生成的码流数据所占的位宽。
3.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
确定原始数据块中是否存在冗余数据块，若是，则对所述冗余数据块按照第二编码方式进行编码；
将所述原始数据块中除掉所述冗余数据块的剩余数据块作为所述待编码数据块。
4.根据权利要求1所述的方法，其特征在于，所述待编码数据块通过以下方式生成：
确定原始数据块中是否存在冗余数据块，若是，则获取所述原始数据块中除掉所述冗余数据块的剩余数据块；
将所述剩余数据块按照指定大小划分得到多个数据块，将每一数据块作为所述待编码数据块。
5.根据权利要求3或4所述的方法，其特征在于，所述确定原始数据块中是否存在冗余数据块，包括：
查找所述原始数据块中是否有连续出现且重复次数大于预设值的数据，若有，则确定存在冗余数据块，并将该连续的数据作为所述冗余数据块；若否，则确定不存在冗余数据块。
6.根据权利要求3所述的方法，其特征在于，所述第二编码方式包括游程编码，所述对所述冗余数据块按照第二编码方式进行编码，包括：
将所述冗余数据块按照游程编码所对应的码流结构，写入编码后的码流数据；所述游程编码所对应的码流结构包括：编码方式的标志位、起始值和游程长度。
7.根据权利要求1所述的方法，其特征在于，所述多个第一编码方式，包括：原始编码方式、残差编码方式以及混合编码方式；其中，所述混合编码方式为对所述待编码数据块进行划分分成若干数据子块后，对每一所述数据字块进行残差编码或原始编码。
8.根据权利要求7所述的方法，其特征在于，当所述目标编码方式为原始编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
将所述待编码数据块中的原始数据按照所述原始编码方式对应的码流结构，写入编码后的码流数据；
其中，所述原始编码方式对应的码流结构包括：编码方式的标志位和原始数据。
9.根据权利要求7所述的方法，其特征在于，当所述目标编码方式为所述残差编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
以所述待编码数据块中预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值；
将所述残差值和所述参考数据按照所述残差编码方式对应的码流结构写入编码后的码流数据；
其中，所述残差编码方式对应的码流结构包括：编码方式的标志位、所述参考数据、所述残差值所占的位宽和所述残差值。
10.根据权利要求7所述的方法，其特征在于，当所述目标编码方式为混合编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
将所述待编码数据块划分得到至少两个数据子块；
以任一所述数据子块中预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值；
分别将每个所述数据子块计算得到的残差值和所述参考数据按照所述混合编码方式对应的码流结构写入编码后的码流数据；
其中，所述混合编码方式对应的码流结构包括：编码方式的标志位、所述参考数据、所述残差值所占的位宽和所述残差值。
11.根据权利要求7所述的方法，其特征在于，当所述目标编码方式为混合编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
将所述待编码数据块划分得到至少两个数据子块；其中，所述至少两个数据字块包括第一数据子块和第二数据子块；
以所述第一数据子块中预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值，将所述残差值和所述参考数据按照所述混合编码方式所对应的码流结构写入编码后的码流数据；＝
将所述第二数据子块中的原始数据按照所述混合编码方式所对应的码流结构写入编码后的码流数据；
其中，所述混合编码方式所对应的码流结构包括：编码方式的标志位、所述第二数据块的原始数据、所述参考数据、所述残差值所占的位宽和所述残差值。
12.根据权利要求4所述的方法，其特征在于，在所述将所述剩余数据块按照指定大小划分得到多个数据块之前，包括：
如果所述剩余数据块的数据量不满足为所述指定大小的整数倍，则对所述剩余数据块进行数据填充，以使划分后得到每个数据块的大小为均为指定大小。
13.根据权利要求12所述的方法，其特征在于，所述对所述剩余数据块进行数据填充，包括：
复制N个所述剩余数据块中的末尾数据，利用复制的N个数据对所述剩余数据块进行填充，以使得所述剩余数据块的数据量为所述指定大小的整数倍；其中，所述N大于等于1。
14.一种数据处理方法，其特征在于，包括：
对待解码数据进行解析，确定多个预设的第一编码方式中与所述待解码数据对应的目标编码方式，根据所述目标编码方式确定对应的目标解码方式；
通过所述目标解码方式对所述待解码数据进行解码，生成解码数据。
15.根据权利要求14所述的方法，其特征在于，所述待解码数据包括标志位；所述对待解码数据进行解析，确定多个预设的第一编码方式中与所述待解码数据对应的目标编码方式包括：
根据预设的所述标志位的数值和所述第一编码方式的映射关系，确定出与所述待解码数据对应的目标编码方式。
16.根据权利要求14所述的方法，其特征在于，所述第一编码方式包括游程编码、原始数据编码、残差编码和混合编码中的一种或多种；
其中，所述混合编码为对待编码数据块进行划分生成多个数据子块，对每一所述数据字块进行残差编码或原始数据编码。
17.根据权利要求16所述的方法，其特征在于，所述残差编码为以所述待编码数据块中预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值，将所述残差值和所述参考数据按照所述残差编码方式对应的码流结构写入编码后的码流数据。
18.根据权利要求16所述的方法，其特征在于，所述目标解码方式包括：游程解码、原始数据拷贝、残差解码和混合解码中的一种或多种；
其中，所述混合解码为对所述待解码数据块进行划分生成多个数据子块，对每一所述数据字块进行残差解码或原始数据拷贝。
19.根据权利要求18所述的方法，其特征在于，所述残差解码为从所述待解码数据的码流结构中读取对应的参考数据、残差值所占的位长和残差值，根据所述参考数据、残差值所占的位长和残差值执行残差计算的逆运算，生成解码数据。
20.根据权利要求18所述的方法，其特征在于，当所述目标解码方式为游程解码时，所述使用所述目标解码方式对所述待解码数据进行解码，包括：
从所述待解码数据的码流结构中读取起始值和游程长度，根据所述起始值和游程长度将所述待解码数据进行解码还原，得到解码数据。
21.根据权利要求18所述的方法，其特征在于，当所述目标解码方式为原数据拷贝时，所述使用所述目标解码方式对所述待解码数据进行解码，包括：
从所述待解码数据的码流结构中读取对应的编码后的数据，将所述编码后的数据进行拷贝，得到解码数据。
22.根据权利要求19所述的方法，其特征在于，当所述目标解码方式为残差解码时，所述使用所述目标解码方式对所述待解码数据进行解码，包括：
从所述待解码数据的码流结构中读取对应的参考数据、残差值所占的位长和残差值，根据所述参考数据和残差值执行残差计算的逆运算，得到原数据。
23.根据权利要求14所述的方法，其特征在于，所述使用所述目标解码方式对多所述待解码数据进行解码，生成解码数据，包括：
若通过所述目标解码方式对所述待解码数据进行解码得到的数据的数据量大于预设数据量时，将超出所述预设数据量的部分数据丢弃，生成所述解码数据。
24.一种数据处理的方法，其特征在于，包括：
以待编码数据块中处于预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值；
将所述残差值和所述参考数据写入编码后的码流数据。
25.根据权利要求24所述的方法，其特征在于，所述待编码数据块通过以下方式生成：
将原始数据块按照指定大小进行划分得到多个数据子块，将每一所述数据子块作为所述待编码数据块。
26.根据权利要求24所述的方法，其特征在于，所述待编码数据块通过以下方式生成：
将原始数据块按照指定大小进行划分得到多个数据子块，将所述多个数据块中的第一数据块作为所述待编码数据块。
27.根据权利要求26所述的方法，其特征在于，还包括：
将所述多个数据子块除所述第一数据块外的其他数据块按照原始编码方式对应的码流结构，写入编码后的码流数据；所述原始编码方式对应的码流结构包括：编码方式的标志位和原始数据。
28.一种数据处理方法，其特征在于，包括：
对待解码数据块进行解析，获取待解码数据块中的参考数据和残差数据；；
将所述参考数据和所述残差数据进行递减运算或累加运算，对所述待解码数据块进行解码操作，生成所述参考数据两侧的原始数据。
29.一种数据处理方法，其特征在于，应用于依次连接的配置器、存储器和处理器，包括：
通过所述配置器对由预设数据所构成的待编码数据块进行压缩编码生成压缩码流，并将所述压缩码流写入所述存储器，以降低对所述存储器的写带宽；
通过所述处理器读取所述存储器内的压缩码流，并对所述压缩码流进行解压缩处理，以降低对所述存储器的读带宽。
30.根据权利要求29所述的方法，其特征在于，所述配置器上设有编码器，所述处理器上设有解码器；
所述配置器通过所述编码器对所述待编码数据块进行压缩编码生成压缩码流，所述处理器通过所述解码器对所述压缩码流进行解压缩处理。
31.根据权利要求29所述的方法，其特征在于，所述预设数据为基于一卷积神经网络的权重数据；所述配置器用于分配所述权重数据，并将对所述权重数据进行压缩编码得到的压缩码流写入存储器中；所述处理器用于从所述存储器中读取所述权重数据对应的压缩码流，对所述压缩码流进行解压缩处理生成所述权重数据，并基于所述权重数据运行所述卷积神经网络。
32.根据权利要求31所述的方法，其特征在在于，所述处理器还包括静态随机存取存储器，所述静态随机存取存储器用于从所述存储器中读取所述权重数据对应的压缩码流，以使得所述处理器能够对所述压缩码流进行解压缩处理生成所述权重数据，并基于所述权重数据运行所述卷积神经网络。
33.根据权利要求29所述的方法，其特征在于，所述配置器对由预设数据所构成的待编码数据块进行压缩编码生成压缩码流，包括：
所述配置器获取多个第一编码方式对于所述待编码数据块的编码开销，从所述多个第一编码方式中确定编码开销最小的目标编码方式；
通过所述目标编码方式对所述待编码数据块进行编码，得到压缩码流。
34.根据权利要求33所述方法，其特征在于，所述编码开销为所述待编码数据块进行编码后生成的码流数据所占的位宽。
35.根据权利要求33所述的方法，其特征在于，所述方法，还包括：
所述配置器确定原始数据块中是否存在冗余数据块，若是，则对所述冗余数据块按照第二编码方式进行编码；
将所述原始数据块中除掉所述冗余数据块的剩余数据块作为所述待编码数据块。
36.根据权利要求33所述的方法，其特征在于，所述待编码数据块通过以下方式生成：
所述配置器确定原始数据块中是否存在冗余数据块，若是，则获取所述原始数据块中除掉所述冗余数据块的剩余数据块；
将所述剩余数据块按照指定大小划分得到多个数据块，将每一数据块作为所述待编码数据块。
37.根据权利要求35或36所述的方法，其特征在于，所述配置器确定原始数据块中是否存在冗余数据块，包括：
所述配置器查找所述原始数据块中是否有连续出现且重复次数大于预设值的数据，若有，则确定存在冗余数据块，并将该连续的数据作为所述冗余数据块；若否，则确定不存在冗余数据块。
38.根据权利要求35所述的方法，其特征在于，所述第二编码方式包括游程编码，所述对所述冗余数据块按照第二编码方式进行编码，包括：
将所述冗余数据块按照游程编码所对应的码流结构，写入编码后的码流数据；所述游程编码所对应的码流结构包括：编码方式的标志位、起始值和游程长度。
39.根据权利要求33所述的方法，其特征在于，所述多个第一编码方式，包括：原始编码方式、残差编码方式以及混合编码方式；其中，所述混合编码方式为对所述待编码数据块进行划分分成若干数据子块后，对每一所述数据字块进行残差编码或原始编码。
40.根据权利要求39所述的方法，其特征在于，当所述目标编码方式为原始编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
将所述待编码数据块中的原始数据按照所述原始编码方式对应的码流结构，写入编码后的码流数据；
其中，所述原始编码方式对应的码流结构包括：编码方式的标志位和原始数据。
41.根据权利要求39所述的方法，其特征在于，当所述目标编码方式为所述残差编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
以所述待编码数据块中预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值，将所述残差值和所述参考数据按照所述残差编码方式对应的码流结构写入编码后的码流数据；
其中，所述残差编码方式对应的码流结构包括：编码方式的标志位、所述参考数据、所述残差值所占的位宽和所述残差值。
42.根据权利要求39所述的方法，其特征在于，当所述目标编码方式为混合编码方式时，所述通过所述目标编码方式对所述待编码数据块进行编码，包括：
将所述待编码数据块划分得到至少两个数据子块；
以任一所述数据子块中预设位置的数据作为参考数据，分别计算位于所述参考数据两侧的每相邻两个数据的残差值；
分别将每个所述数据子块计算得到的残差值和所述参考数据按照所述混合编码方式对应的码流结构写入编码后的码流数据；
其中，所述混合编码方式对应...
【专利技术属性】
技术研发人员：阮肇夏，赵文军，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。