特征数据编解码方法和装置制造方法及图纸

本申请提供了特征数据编解码方法和装置，涉及基于人工智能(AI)的图像或音频的编解码技术领域，具体涉及基于神经网络的图像特征图或音频特征变量的编解码技术领域。其中编码方法包括：获取待编码目标，所述待编码目标包括多个特征元素，所述多个特征元素包括第一特征元素。所述方法还包括获取所述第一特征元素的概率估计结果，根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码；仅当判断出需要对所述第一特征元素执行熵编码时，对所述第一特征元素执行熵编码。本申请根据概率估计结果来判断是否对特征元素编码。这样，能够在不影响编解码性能情况下降低编解码复杂度，其中待编码目标包括图像特征图或音频特征变量。或音频特征变量。或音频特征变量。

【技术实现步骤摘要】
特征数据编解码方法和装置


[0001]本专利技术实施例涉及基于人工智能(AI)的图像或音频压缩
，尤其涉及一种特征数据编解码方法及装置。

技术介绍

[0002]图像或音频编码和解码(简称为编解码)广泛用于数字图像或音频应用，例如广播数字电视、互联网和移动网络上的图像或音频传输、视频或语音聊天、和视频或语音会议等实时会话应用、DVD和蓝光光盘、图像或音频内容采集和编辑系统以及可携式摄像机的安全应用。视频由多帧图像组成，因此本申请中的图像可以是单独的图像，也可以为视频中的图像。
[0003]即使在影片较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的网络中发送或以其它方式传输时，这样可能会造成困难。因此，图像(或音频)数据通常要先压缩然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，图像(或音频)的大小也可能成为问题。图像(或音频)压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对图像(或音频)数据进行编码，从而减少用来表示数字图像(或音频)所需的数据量。然后，压缩的数据在目的地侧由图像(或音频)解压缩设备接收。在有限的网络资源以及对更高图像(或音频)质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够提高压缩率而几乎不影响图像(或音频)质量。
[0004]近年来，将深度学习应用于在图像(或音频)编解码领域逐渐成为一种趋势。如谷歌已连续几年在CVPR(IEEE Conference on Computer Vision and Pattern Recognition)会议上组织CLIC(Challenge on Learned Image Compression)专题竞赛，CLIC专注使用深度神经网络来提升图像的压缩效率，在2020年CLIC中还加入了图像挑战类别。基于竞赛方案的性能评估，当前基于深度学习技术的图像编解码方案的综合压缩效率已经与最新一代视频图像编解码标准VVC(Versatile Video Coding)相当，而且在提升用户感知质量方面有独特优势。
[0005]VVC的视频标准制定工作已于2020年6月完成，标准收纳几乎所有能够带来显著压缩效率提升的技术算法。因此沿传统信号处理路径继续研究新型的压缩编码算法在短时间内难以获得大的技术突破。区别于传统图像算法通过人工设计来对图像压缩的各模块进行优化，端到端AI的图像压缩是作为一个整体共同进行优化，因此AI图像压缩方案的压缩效果更好。变分自编码器(Variational Autoencoder,AE)方法是当前AI图像有损压缩技术的主流技术方案。在目前的主流技术方案是待编码图像通过编码网络获得图像特征图，并进一步对图像特征图执行熵编码，但是熵编码过程存在着复杂度过高的问题。

技术实现思路

[0006]本申请提供一种特征数据的编解码方法和装置，能够在不影响编解码性能情况下降低编解码复杂度。
[0007]第一方面，提供了一种特征数据的编码方法，包括：
[0008]获取待编码特征数据，所述待编码特征数据包括多个特征元素，所述多个特征元素包括第一特征元素；
[0009]获取所述第一特征元素的概率估计结果；
[0010]根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码；
[0011]仅当判断出需要对所述第一特征元素执行熵编码时，对所述第一特征元素执行熵编码。
[0012]其中，所述特征数据包括图像特征图，或音频特征变量，或图像特征图和音频特征变量。可以为编码网络所输出的一维、二维或多维数据，其中每个数据均为特征元素。需要说明的是，本申请中特征点和特征元素的含义相同。
[0013]具体的，所述第一特征元素为待编码特征数据中的任意一待编码特征元素。
[0014]一种可能性中，获取所述第一特征元素的概率估计结果的概率估计过程可以通过概率估计网络实现；在另一种可能性中，概率估计过程可以采用传统非网络的概率估计方法对特征数据进行概率估计。
[0015]需要说明的是，当只有边信息作为概率估计的输入时，可以并行输出各特征元素的概率估计结果；当概率估计的输入包括有上下文信息时，需要串行输出各特征元素概率估计结果。其中所述边信息为特征数据输入神经网络进一步提取得到的特征信息，所述边信息包含的特征元素的个数比特征数据的特征元素少。可选地，可以将特征数据的边信息编入码流。
[0016]一种可能性中，当所述特征数据的第一特征元素不满足预设条件下，不需要对所述特征数据的第一特征元素执行熵编码。
[0017]具体的，假如当前的第一特征元素为特征数据的第P个特征元素，则完成第P个特征元素的判断和根据判断结果执行或不执行熵编码后，开始特征数据的第P+1个特征元素的判断和根据判断结果执行或不执行熵编码过程，其中P为正整数且P小于M，其中M为整个的特征数据中特征元素的数量。比如对第二特征元素，当判断不需要对所述第二特征元素执行熵编码时，则对所述第二特征元素跳过执行熵编码。
[0018]上述技术方案中，通过对每个待编码的特征元素进行判定是否需要执行熵编码，从而跳过某些特征元素的熵编码过程，可以显著减少需执行熵编码的元素个数。这样，可以降低熵编码复杂度。
[0019]在一种可能的实现方式中，判断是否对所述第一特征元素执行熵编码包括：当所述第一特征元素的概率估计结果满足预设条件时，判断需要对所述第一特征元素执行熵编码；或当所述第一特征元素的概率估计结果不满足预设条件时，判断不需要对所述第一特征元素执行熵编码。
[0020]在一种可能的实现方式中，所述第一特征元素的概率估计结果为所述第一特征元素取值为k的概率值，所述预设条件为第一特征元素取值为k的概率值小于或等于第一阈值，其中k为整数。
[0021]k为上述第一特征元素取值所可能的取值范围中的某一取值。比如，第一特征元素可以取值的范围为【
‑
255，255】。k可以设置为0，则对概率值小于或者等于0.5的第一特征元
素，执行熵编码。对概率值大于0.5的第一特征元素，不执行熵编码。
[0022]在一种可能的实现方式中，所述第一特征元素取值为k的概率值为所述第一特征元素的所有可能的取值的概率值中的最大概率值。
[0023]其中，编码码流在低码率情况所选定的第一阈值小于编码码流在高码率情况所选定的第一阈值。具体码率高低与图像的分辨率以及图像内容相关，以公开的Kodak数据集为例，低于0.5bpp为低码率，反之为高码率。
[0024]在某一码率情况下，所述第一阈值可以根据实际需要进行配置，此处不做限定。
[0025]上述技术方案中，通过灵活的第一阈值设定方式使得产生可以根据要求灵活的降低熵编码复杂度。
[0026]在一种可能的实现方式中，所述第一特征元素的概率估计结果包括所述第一特征元素概率分布的第一参数和第二参数。
[0027]则当所述概率分布为高斯分布，所述第一特征元素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征数据的编码方法，其特征在于，包括：获取待编码特征数据，所述待编码特征数据包括多个特征元素，所述多个特征元素包括第一特征元素；获取所述第一特征元素的概率估计结果；根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码；仅当判断出需要对所述第一特征元素执行熵编码时，对所述第一特征元素执行熵编码。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码包括：当所述第一特征元素的概率估计结果满足预设条件时，判断需要对所述第一特征元素执行熵编码；或当所述第一特征元素的概率估计结果不满足预设条件时，判断不需要对所述第一特征元素执行熵编码。3.根据权利要求2所述的方法，其特征在于，所述第一特征元素的概率估计结果为所述第一特征元素取值为k的概率值，则所述预设条件为所述第一特征元素取值为k的概率值小于或等于第一阈值，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。4.根据权利要求2所述的方法，其特征在于，所述第一特征元素的概率估计结果包括所述第一特征元素概率分布的第一参数和第二参数，则所述预设条件为：所述第一特征元素的概率分布的所述第一参数与所述第一特征元素取值为k的差的绝对值大于或等于第二阈值；或所述第一特征元素的概率分布的所述第二参数大于或等于第三阈值；或所述第一特征元素的概率分布的所述第一参数与所述第一特征元素取值为k的差的绝对值与所述第一特征元素的概率分布的所述第二参数的和大于或等于第四阈值，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。5.根据权利要求4项所述的方法，其特征在于：当所述概率分布为高斯分布，所述第一特征元素概率分布的第一参数为所述第一特征元素高斯分布的均值，所述第一特征元素概率分布的第二参数为所述第一特征元素高斯分布的方差；或当所述概率分布为拉普拉斯分布，所述第一特征元素概率分布的第一参数为所述第一特征元素拉普拉斯分布的位置参数，所述第一特征元素概率分布的第二参数为所述第一特征元素拉普拉斯分布的尺度参数。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：构建阈值候选列表，将所述第一阈值放入所述阈值候选列表中，且将对应有所述第一阈值的索引号写入编码码流，其中所述阈值候选列表的长度为T，T为大于或等于1的整数。7.根据权利要求2所述的方法，其特征在于，所述第一特征元素的概率估计结果通过混合高斯分布获得时，则所述预设条件为：所述第一特征元素的混合高斯分布的所有均值与所述第一特征元素的取值为k的差的绝对值之和与所述第一特征元素的混合高斯分布的任一方差的和大于或等于第五阈值；或所述第一特征元素的混合高斯分布的任一均值与所述第一特征元素的取值为k的差大
于或等于第六阈值；或所述第一特征元素的混合高斯分布的任一方差大于或等于第七阈值；其中k为整数且k为所述第一特征元素的多个候选取值中的一个。8.根据权利要求2所述的方法，其特征在于，所述第一特征元素的概率估计结果通过非对称高斯分布获得时，则所述预设条件为：所述第一特征元素的非对称高斯分布的均值与所述第一特征元素的取值为k的差的绝对值大于或等于第八阈值；或所述第一特征元素的非对称高斯分布的第一方差大于或等于第九阈值；或所述第一特征元素的非对称高斯分布的第二方差大于或等于第十阈值；其中k为整数且k为所述第一特征元素的多个候选取值中的一个。9.根据权利要求3
‑
8任一所述的方法，其特征在于：所述第一特征元素取值为k的概率值为所述第一特征元素的所有候选取值的概率值中的最大概率值。10.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码包括：将所述特征数据的概率估计结果输入生成网络以得到所述第一特征元素的决策信息，根据所述第一特征元素的决策信息，判断是否对所述第一特征元素执行熵编码。11.根据权利要求10所述的方法，其特征在于，当所述特征数据的决策信息为决策图时，则所述决策图中对应所述第一特征元素所在位置的值为预设值时，判断需要对所述第一特征元素执行熵编码；当所述决策图中对应所述第一特征元素所在位置的值不为预设值时，判断不需要对所述第一特征元素执行熵编码。12.根据权利要求10所述的方法，其特征在于，当所述特征数据的决策信息为预设值时，判断需要对所述第一特征元素执行熵编码；当所述决策信息不为预设值时，判断不需要对所述第一特征元素执行熵编码。13.根据权利要求1
‑
12任一所述的方法，其特征在于，所述多个特征元素还包括第二特征元素，当判断出不需要对所述第二特征元素执行熵编码时，跳过对所述第二特征元素执行熵编码。14.根据权利要求1
‑
13任一所述的方法，其特征在于，所述方法还包括：将包括所述第一特征元素的多个特征元素的熵编码结果写入编码码流。15.一种特征数据的解码方法，其特征在于，包括：获取待解码特征数据的码流；所述待解码特征数据包括多个特征元素，所述多个特征元素包括第一特征元素；获取所述第一特征元素的概率估计结果；根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵解码；仅当判断出需要对所述第一特征元素执行熵解码时，对所述第一特征元素执行熵解码。16.根据权利要求15所述的方法，其特征在于，所述根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵解码包括：
当所述第一特征元素的概率估计结果满足预设条件时，判断需要对所述特征数据的第一特征元素执行熵解码；或当所述第一特征元素的概率估计结果不满足预设条件时，判断不需要对所述特征数据的第一特征元素执行熵解码，将所述第一特征元素的特征值设置为k，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。17.根据权利要求16所述的方法，其特征在于，当所述第一特征元素的概率估计结果为所述第一特征元素取值为k的概率值，则所述预设条件为所述第一特征元素取值为k的概率值小于或等于第一阈值，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。18.根据权利要求16所述的方法，其特征在于，当所述第一特征元素的概率估计结果包括所述第一特征元素概率分布的第一参数和第二参数，则所述预设条件为：所述第一特征元素的概率分布的所述第一参数与所述第一特征元素取值为k的差的绝对值大于或等于第二阈值；或所述第一特征元素的概率分布的所述第二参数大于或等于第三阈值；或所述第一特征元素的概率分布的所述第一参数与所述第一特征元素取值为k的差的绝对值与所述第一特征元素的概率分布的所述第二参数的和大于或等于第四阈值，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。19.根据权利要求18所述的方法，其特征在于：当所述概率分布为高斯分布，所述第一特征元素概率分布的第一参数为所述第一特征元素高斯分布的均值，所述第一特征元素概率分布的第二参数为所述第一特征元素高斯分布的方差；或当所述概率分布为拉普拉斯分布，所述第一特征元素概率分布的第一参数为所述第一特征元素拉普拉斯分布的位置参数，所述第一特征元素概率分布的第二参数为所述第一特征元素拉普拉斯分布的尺度参数。20.根据权利要求16所述的方法，其特征在于，所述第一特征元素的概率估计结果通过混合高斯分布获得时，则所述预设条件为：所述第一特征元素的混合高斯分布的所有均值与所述第一特征元素的取值为k的差的绝对值之和与所述第一特征元素的混合高斯分布的任一方差的和大于或等于第五阈值；或所述第一特征元素的混合高斯分布的任一均值与所述第一特征元素的取值为k的差大于或等于第六阈值；或所述第一特征元素的混合高斯分布的任一方差大于或等于第七阈值；其中k为整数且k为所述第一特征元素的多个候选取值中的一个。21.根据权利要求16所述的方法，其特征在于，所述第一特征元素的概率估计结果通过非对称高斯分布获得时，则所述预设条件为：所述第一特征元素的非对称高斯分布的均值与所述第一特征元素的取值为k的差的绝对值大于或等于第八阈值；或所述第一特征元素的非对称高斯分布的第一方差大于或等于第九阈值；或所述第一特征元素的非对称高斯分布的第二方差大于或等于第十阈值；其中k为整数且k为所述第一特征元素的多个候选取值中的一个。22.根据权利要求16
‑
21任一所述的装置，其特征在于，所述第一特征元素取值为k的概
率值为所述第一特征元素的所有候选取值的概率值中的最大概率值。23.根据权利要求15所述的方法，其特征在于，所述根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵解码包括：将所述特征数据的概率估计结果输入生成网络以得到所述第一特征元素的决策信息，根据所述第一特征元素的决策信息，判断是否对所述第一特征元素执行熵解码。24.根据权利要求23所述的方法，其特征在于，当所述特征数据的决策信息为决策图时，则所述决策图中对应所述第一特征元素所在位置的值为预设值时，判断需要对所述第一特征元素执行熵解码；当所述决策图中对应所述第一特征元素所在位置的值不为预设值时，判断不需要对所述第一特征元素执行熵解码。25.根据权利要求23所述的方法，其特征在于，当所述特征数据的决策信息为预设值时，判断需要对所述第一特征元素执行熵解码；当所述决策信息不为预设值时，判断不需要对所述第一特征元素执行熵解码。26.根据权利要求15
‑
25任一所述的方法，其特征在于，所述方法还包括：所述特征数据经过解码网络以得到所述重建数据或面向机器任务数据。27.一种特征数据编码装置，其特征在于，包括：获得模块，用于获取待编码特征数据，所述待编码特征数据包括多个特征元素，所述多个特征元素包括第一特征元素，以及用于获取所述中第一特征元素的概率估计结果；编码模块，用于根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码；仅当判断出需要对所述第一特征元素执行熵编码时，对所述第一特征元素执行熵编码。28.根据权利要求27所述的装置，其特征在于，所述根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码包括：当所述第一特征元素的概率估计结果满足预设条件时，判断需要对所述特征数据的第一特征元素执行熵编码；或当所述第一特征元素的概率估计结果不满足预设条件时，判断不需要对所述特征数据的第一特征元素执行熵编码。29.根据权利要求28所述的装置，其特征在于，所述第一特征元素的概率估计结果为所述第一特征元素取值为k的概率值，则所述预设条件为所述第一特征元素取值为k的概率值小于或等于第一阈值，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。30.根据权利要求28所述的装置，其特征在于，所述第一特征元素的概率估计结果包括所述第一特征元素概率分布的第一参数和第二参数，则所述预设条件为：所述第一特征元素的概率分布的所述第一参数与所述第一特征元素取值为k的差的绝对值大于或等于第二阈值；或所述第一特征元素的概率分布的所述第二参数大于或等于第三阈值；或所述第一特征元素的概率分布的所述第一参数与所述第一特征元素取值为k的差的绝对值与所述第一特征元素的概率分布的所述第二参数的和大于或等于第四阈值，其中k为整数且k为所述第一特征元素的多个候选取值中的一个。31.根据权利要求30所述的装置，其特征在于：
当所述概率分布为高斯分布，所述第一特征元素概率分布的第一参数为所述第一特征元素高斯分布的均值，所述第一特征元素概率分布的第二参数为所述第一特征元素高斯分布的方差；或当所述概率分布为拉普拉斯分布，所述第一特征元素概率分布的第一参数为所述第一特征元素拉普拉斯分布的位置参数，所述第一特征元素概率分布的第二参数为所述第一特征元素拉普拉斯分布的尺度参数。32.根据权利要求29所述的装置，其特征在于：所述编码模块，还用于构建阈值候选列表，将所...

【专利技术属性】
技术研发人员：毛珏，赵寅，闫宁，杨海涛，张恋，王晶，师一博，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：