视频图像的解码方法及装置制造方法及图纸

本申请提供了视频图像的解码方法和装置。涉及基于人工智能(AI)的视频或图像压缩技术领域，具体涉及基于神经网络的视频压缩技术领域。该方法包括：根据待解码数据的压缩码流获得多个系数，该多个系数包括第一系数；根据第一系数的上下文信息进行概率估计得到第一概率分布；根据第一概率分布进行采样，得到第一估计系数；根据该第一估计系数得到重建图像。采用本申请的方案针对单一压缩码流进行多次解码可以得到具有不同性质的高质量图像。解码可以得到具有不同性质的高质量图像。解码可以得到具有不同性质的高质量图像。

【技术实现步骤摘要】
视频图像的解码方法及装置


[0001]本申请涉及视频图像领域，尤其涉及一种视频图像的解码方法及装置。

技术介绍

[0002]数字图像是以数字信号方式记录的图像信息。数字图像(以下简称图像)可看作一个M行N列的二维阵列，包含M
×
N个采样，每个采样的位置称为采样位置，每个采样的数值称为采样值。
[0003]在图像存储、传输等应用中，通常需要对图像做编码操作，以减少存储容量和传输带宽。图像编码包括编码和解码两个步骤。典型的编码流程一般包括变换、量化和熵编码三个步骤。针对一幅待编码的图像，第一步通过变换对图像进行去相关，得到能量分布更加集中的变换系数；第二步对变换系数进行量化，得到量化系数；第三步对量化系数进行熵编码得到压缩码流。与编码操作相对应，一个典型的解码流程包括解码器在接收到压缩码流后，依次经过熵解码、反量化和反变换三个步骤，得到重建图像。
[0004]由于上述解码过程中，熵解码、反量化和反变换等一般都是确定性过程，因此针对单一的压缩码流，在多次解码时通常只能解码得到单一性质的图像。

技术实现思路

[0005]本申请提供一种视频图像的解码方法和装置，采用本申请的方案针对单一压缩码流进行多次解码可以得到具有不同性质的图像。并且在解码过程中可以基于用户需求调整采样时所使用的概率分布，从而提高了重建图像的质量。
[0006]上述和其它目标通过独立权利要求的主题实现。其它实现方式在从属权利要求、具体实施方式和附图中显而易见。
[0007]具体实施例在所附独立权利要求中概述，其它实施例在从属权利要求中概述。
[0008]根据第一方面，本专利技术涉及视频图像的解码的方法。该方法由解码装置执行。该方法包括：根据待解码数据的压缩码流，获得多个系数，该多个系数包括第一系数；根据第一系数的上下文信息进行概率估计得到第一概率分布；根据第一概率分布进行采样，以得到第一估计系数，根据第一估计系数得到重建图像。比如，该第一估计系数可以为第一系数的估计值。
[0009]可选地，待解码数据可以为图像、图像块，条带或者图像的任意区域。
[0010]在一种可能的设计中，上述多个系数还包括第二系数，本申请的方法还包括：
[0011]根据第二系数的上下文信息和/或已采样得到的估计系数，进行概率估计得到第二概率分布，其中，已采样得到的估计系数包括第一估计系数；根据所述第二概率分布进行采样，得到第二估计系数；则根据所述第一估计系数得到重建图像包括：根据第一估计系数和第二估计系数得到重建图像。
[0012]在此需要指出的是，第二估计系数是在第一估计系数之后获得的。
[0013]在每次对压缩码流解码过程中，对解码出来的系数进行概率估计，并基于概率估
计结果进行采样，得到估计系数，再采样得到的估计系数得到重建图像。由于采样过程具有随机性，是一个不确定过程，因此对于同一压缩码流按照上述方式进行多次解码可以得到的多张不同性质的图像。比如主观质量最优的图像，客观质量最优的图像。
[0014]在一种可能的设计中，根据待解码数据的压缩码流，获取多个系数，包括：
[0015]对压缩码流进行熵解码得到多个系数，该多个系数为多个量化小波系数；或者，
[0016]对压缩码流进行熵解码得到多个量化小波系数；对该多个量化小波系数进行反量化，以得到多个系数，该多个系数为多个重建小波系数。
[0017]在一种可能的设计中，根据待解码数据的压缩码流，获取多个系数，包括：
[0018]对压缩码流进行熵解码，以得到多个系数，该多个系数为多个量化离线余弦变换(discrete cosine transform，DCT)系数；或者，
[0019]对压缩码流进行熵解码，以得到多个量化DCT系数；对该多个量化DCT系数进行反量化，以得到多个系数，该多个系数为多个重建DCT系数。
[0020]在一种可能的设计中，根据待解码数据的压缩码流，获取多个系数，包括：
[0021]对压缩码流进行熵解码，以得到多个系数，该多个系数为多个特征系数。
[0022]在一种可能的设计中，根据待解码数据的压缩码流，获取多个系数，包括：
[0023]对压缩码流进行解码，以得到多个系数，该多个系数为多个初始像素重建值；或者，
[0024]对压缩码流进行解码，以得到多个初始像素重建值；对多个初始像素重建值进行变换得到多个系数，该多个系数为多个变换像素值。
[0025]按照上述不同的方式获取多个系数，使得本申请的解码方法可以应用于不同的解码场景，比如针对小波域、特征域、DCT域和像素域等。
[0026]在一种可能的设计中，所述根据所述第一系数的上下文信息进行概率估计得到第一概率分布，包括：
[0027]获取第一系数的概率分布模型；将第一系数的上下文信息经过第一概率估计网络进行处理，以得到概率分布模型的参数；根据概率分布模型和该概率分布模型的参数得到第一概率分布；
[0028]或者，
[0029]将所述第一系数的上下文信息经过第二概率估计网络进行处理，以得到第一概率分布；
[0030]其中，第一概率估计网络和第二概率估计网络是基于神经网络实现的，第一系数的上下文信息包括多个系数中的部分或者全部，和/或，已采样得到的估计系数中的部分或者全部。
[0031]可选地，上述概率分布模型可以为高斯模型、拉普拉斯模型、混合高斯模型或者其他模型；当上述概率分布模型为高斯模型时，该概率分布模型的参数包括均值和方差；当上述概率分布模型为拉普拉斯模型时，该概率分布模型的参数包括位置参数和尺寸参数。
[0032]可选地，上述神经网络可以为卷积神经网络、深度神经网络、循环神经网络或者其他神经网络。
[0033]可选地，上述第一概率估计网络和第二概率估计网络的结构和参数不相同，或者第一概率估计网络和第二概率估计网络的结构相同，但参数不相同。
[0034]按照上述方式可以得到第一概率分布，从而为后续基于第一概率分布进行采样做准备。
[0035]在一种可能的设计中，第一概率分布为高斯分布，根据第一概率分布进行采样，以得到第一估计系数，包括：
[0036]获取第一随机数；根据第一随机数确定第一参考值，该第一参考值服从高斯分布；根据第一参考值和第一概率分布的均值和方差确定第一估计系数。
[0037]其中，第一随机数是使用线性同余法生成[0,1]上的均匀分布的随机数。
[0038]可选地，第一参考值可以服从标准高斯分布、普通高斯分布、非对称高斯分布、单高斯模型、混合高斯模型或者其他高斯分布等。
[0039]由于第一随机数具有随机性，使得采样得到的第一估计系数也具有随机性，从而导致基于第一估计系数得到的重建图像也具有随机性，也就是不确定性。采样过程是一个随机过程，不确定过程；基于按照上述方式进行多次采样得到的估计系数得到的多张重建图像具有不同的性质。
[0040]在一种可能的设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像的解码方法，其特征在于，包括：根据待解码数据的压缩码流，获得多个系数，其中所述多个系数包括第一系数；根据所述第一系数的上下文信息进行概率估计得到第一概率分布；根据所述第一概率分布进行采样，以得到第一估计系数；根据所述第一估计系数得到重建图像。2.根据权利要求1所述的方法，其特征在于，所述多个系数还包括第二系数，所述方法还包括：根据所述第二系数的上下文信息和/或已采样得到的估计系数，进行概率估计得到第二概率分布；其中，所述已采样得到的估计系数包括所述第一估计系数；根据所述第二概率分布进行采样，以得到第二估计系数；则，所述根据所述第一估计系数得到重建图像，包括：根据所述第一估计系数和第二估计系数得到所述重建图像。3.根据权利要求1或2所述的方法，其特征在于，所述根据待解码数据的压缩码流，获得多个系数，包括：对所述压缩码流进行熵解码得到所述多个系数，所述多个系数为多个量化小波系数；或者，对所述压缩码流进行熵解码得到多个量化小波系数；对所述多个量化小波系数进行反量化，以得到所述多个系数，所述多个系数为多个重建小波系数。4.根据权利要求1或2所述的方法，其特征在于，所述根据待解码数据的压缩码流，获得多个系数，包括：对所述压缩码流进行熵解码，以得到所述多个系数，所述多个系数为多个量化离线余弦变换DCT系数；或者，对所述压缩码流进行熵解码，以得到所述多个量化DCT系数；对所述多个量化DCT系数进行反量化，以得到所述多个系数，所述多个系数为多个重建DCT系数。5.根据权利要求1或2所述的方法，其特征在于，所述根据待解码数据的压缩码流，获得多个系数，包括：对所述压缩码流进行熵解码，以得到所述多个系数，所述多个系数为多个特征系数。6.根据权利要求1或2所述的方法，其特征在于，所述根据待解码数据的压缩码流，获得多个系数，包括：对所述压缩码流进行解码，以得到所述多个系数，所述多个系数为多个初始像素重建值；或者，对所述压缩码流进行解码，以得到多个初始像素重建值；对所述多个初始像素重建值进行变换得到所述多个系数，所述多个系数为多个变换像素值。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述根据所述第一系数的上下文信息进行概率估计得到第一概率分布，包括：获取所述第一系数的概率分布模型；将所述第一系数的上下文信息经过第一概率估计网络进行处理，以得到所述概率分布模型的参数；根据所述概率分布模型和所述概率分布模型的参数得到所述第一概率分布；或者，
将所述第一系数的上下文信息经过第二概率估计网络进行处理，以得到所述第一概率分布；其中，所述第一概率估计网络和所述第二概率估计网络是基于神经网络实现的，所述第一系数的上下文信息包括所述多个系数中的部分或者全部，和/或，已采样得到的估计系数中的部分或者全部。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述第一概率分布为高斯分布，所述根据所述第一概率分布进行采样，以得到第一估计系数，包括：获取第一随机数；根据所述第一随机数确定第一参考值，所述第一参考值服从高斯分布；根据所述第一参考值和所述第一概率分布的均值和方差确定所述第一估计系数。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：对所述第一概率分布的方差进行预处理，以得到处理后的方差；所述根据所述第一参考值和所述第一概率分布的均值和方差确定所述第一估计系数，包括：根据所述第一参考值、所述第一概率分布的均值及所述处理后的方差确定所述第一估计系数。10.根据权利要求9所述的方法，其特征在于，所述对所述第一概率分布的方差进行预处理，以得到处理后的方差，包括：将所述第一概率分布的方差置0作为所述处理后的方差。11.根据权利要求9所述的方法，其特征在于，当所述多个系数为所述多个量化小波系数，或者，所述多个系数为所述多个重建小波系数，或者所述多个系数为多个量化DCT系...

【专利技术属性】
技术研发人员：刘东，马海川，李礼，吴枫，杨海涛，张恋，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：