视频解码方法、编码方法以及视频解码器和编码器技术

本申请提供了视频解码方法、编码方法以及视频解码器和视频编码器。其中，视频解码方法包括：分别解析主编码流和辅助编码流，以获得分辨率较低的第一视频图像和残差值，然后利用预设的卷积神经网络对该第一视频图像进行超分辨率提升，以得到分辨率较高的第二视频图像，最后再根据第二视频图像和残差值得到最终的目标视频图像。本申请中，通过预设的神经网络模型能够更好地对分辨率较低的第一视频图像进行超分辨率处理，进而得到分辨率较高的第二视频图像，进而能够根据第二视频图像与残差值的一次叠加就能得到最终的目标视频图像，与传统方案中采用层层叠加的方式才能得到最终的视频图像的方式相比，能够简化解码流程。

【技术实现步骤摘要】
视频解码方法、编码方法以及视频解码器和编码器
本申请涉及视频编解码
，并且更具体的涉及一种视频解码方法、编码方法以及视频解码器和编码器。
技术介绍
重构视频编码(reconstructivevideocoding，RVC)是一种视频内容压缩编码的技术。运用RVC技术对视频图像进行编码可以生成主编码流和辅助编码流这两路编码流。其中，主编码流为分辨率较低的视频码流，播放器可以直接解码并播放；辅助编码流的作用是协助播放器对主编码流进行分辨率的提升，以获得分辨率较高的视频图像(例如，通过解析主编码流可以获得分辨率为1080p的视频图像，接下来，再通过辅助编码流，可以得到分辨为4K的视频图像)。在传统的RVC技术中，编码端在编码时一般会根据原始视频图像确定多个不同层级分辨率的视频图像，然后再确定不同层级分辨率的视频图像相对于原始视频图像的下降残差，接下来，编码端就可以对不同层级分辨率的视频图像相对于原始图像的下降残差和最低层级分辨率的视频图像(多个不同层级分辨率的视频图像中分辨率最低的图像为最低层级分辨率的视频图像)进行编码，生成码流。解码端在解码时可以通过解码最低层级分辨率的视频图像以及不同层级分辨率的视频图像相对于原始频图像的下降残差来逐渐获得最终的视频图像(最终的视频图像的分辨率与原视频图像的分辨率相同)。在利用上述传统RVC技术对视频图像进行编码和解码时，编码端需要获得不同层级的分辨率的视频图像，并需要对不同层级分辨率的视频图像相对于原始视频图像的下降残差进行编码，涉及的不同层级的视频图像较多。另外，解码端在解码时需要先获取最低层级分辨率的视频图像，然后根据该最低层级分辨率的视频图像和不同层级分辨率的视频图像相对于原始视频图像的下降残差进行层层叠加才能得到与原始视频图像分辨率相同的视频图像，编码和解码的过程比较复杂。
技术实现思路
本申请提供一种视频编码方法、解码方法以及视频编码器和视频解码器，以降低编解码复杂度，提高编解码效率。第一方面，提供了一种视频解码方法，该方法包括：解码主编码流，获取第一视频图像；采用神经网络模型对第一视频图像进行超分辨率处理，得到第二视频图像；解码辅助编码流，获取残差值；根据第二视频图像和残差值得到目标视频图像。上述神经网络模型可以是预先训练好的一个神经网络模型。可选地，上述神经网络模型是根据训练样本图像和训练目标图像训练得到的，该训练目标图像是与目标视频图像的分辨率相同的视频图像，该训练样本图像是对训练目标图像进行下采样、编码和解码处理得到的视频图像。应理解，上述训练样本图像是神经网络模型的输入，上述训练目标图像是神经网络模型训练时对照的样本(神经网络模型在训练时输出的视频图像与训练目标图像的差异要尽可能的小)。在对上述神经网络模型进行训练时，可以将训练样本图像输入到神经网络模型中，然后通过对比神经网络模型的输出图像与训练目标的差异来确定神经网络模型的模型参数(主要包括神经网络模型中的各个激活函数的多个输入参数的权重值)。具体地，可以采用大量的训练样本图像对神经网络模型进行训练，计算神经网络模型的输出图像与目标训练图像的差异，并将神经网络模型的输出图像与训练目标图像的差异满足预设要求时的神经网络模型的模型参数的参数值确定为神经网络模型的模型参数的最终取值，这样就完成了神经网络模型的训练。完成训练后的神经网络模型就可以用于对第一视频图像进行超分辨率处理。可选地，上述根据第二视频图像和残差值得到目标视频图像，包括：将第二视频图像的像素值与上述残差值叠加，得到目标视频图像。应理解，上述残差值包括第二视频图像中的每个像素点的像素值对应残差值。上述对第二视频图像的像素值与残差值叠加是指将第二视频图像的每个像素点的像素值与其对应的残差值相加，进而得到目标视频图像中相应像素点的像素值。本申请中，通过神经网络模型能够更好地对分辨率较低的第一视频图像进行超分辨率处理，进而得到分辨率较高的第二视频图像，接下来，就能够通过第二视频图像以及解码得到的残差值进行一次叠加得到最终的目标视频图像，与传统方案中采用低分辨率的视频图像与多个层级的残差值进行层层叠加得到最终的视频图像的方式相比，能够简化解码流程。另外，本申请还能够灵活地根据需要来对神经网络模型进行优化调整，本申请方案的灵活性更高。结合第一方面，在第一方面的某些实现方式中，当上述残差值仅包含像素点亮度分量值对应的残差时，上述采用神经网络模型对第一视频图像进行超分辨率处理，得到第二视频图像，包括：采用神经网络模型对第一视频图像的像素点亮度分量值进行超分辨率处理，得到第二视频图像的像素点亮度分量值；上述将第二视频图像的像素值与残差值叠加，得到目标视频图像，包括：将第二视频图像的像素点亮度分量值与残差值叠加，得到目标视频图像的像素点亮度分量值。本申请中，神经网络模型仅对第一视频图像的像素点亮度分量值进行处理，能够减少神经网络模型进行超分辨处理时的计算量，提高视频解码的效率。具体地，相对于图像的色度，人眼对图像的亮度更加敏感。因此，本申请中可以采用神经网络模型仅对第一视频图像的像素点亮度分量值进行超分辨率处理，而第二视频图像的像素点的色度分量值可以通过传统的插值算法计算得到的，使得本申请能够在保证视觉体验的同时，减少视频解码的计算复杂度。结合第一方面，在第一方面的某些实现方式中，上述方法还包括：对第一视频图像的像素点色度分量值进行插值处理，得到目标视频图像的像素点色度分量值。可选地，当上述残差值包含像素点亮度分量值和像素点色度分量值对应的残差时，上述采用神经网络模型对第一视频图像进行超分辨率处理，得到第二视频图像，包括：采用神经网络模型对第一视频图像的像素点亮度分量值和像素点色度分量值进行超分辨率处理，得到第二视频图像的像素点亮度分量值和像素点色度分量值。应理解，在本申请中，既可以采用神经网络模型来计算得到第二视频图像的像素点亮度分量值和像素点色度分量值，也可以只采用神经模型来计算得到第二视频图像的像素点亮度分量值，而采用其他的方法(如插值方法)得到第二视频图像的像素点色度分量值。上述像素点亮度分量值可以称为像素点的亮度分量值，上述像素点色度分量值可以称为像素点的色度分量值。为了描述方便，本申请统一称为像素点亮度分量值和像素点色度分量值。图像除了可以采用RGB格式表示之外，还可以采用YUV格式来表示，其中，Y表示明亮度(Luminance或Luma)，也就是灰度值，U表示色度(Chrominance)，V表示浓度(Chroma)。上述像素点亮度分量值可以表示为Y，上述像素点色度分量值可以包括U和V。结合第一方面，在第一方面的某些实现方式中，第一视频图像为高动态范围HDR图像或者标准动态范围SDR图像。本申请的解码方法不仅适用于标准动态范围(standarddynamicrange，SDR)图像，也适用于高动态范围(highdynamicrangeimage，HDR)图像。第二方面，提供本文档来自技高网...

【技术保护点】
1.一种视频解码方法，其特征在于，包括：/n解码主编码流，获取第一视频图像；/n采用神经网络模型对所述第一视频图像进行超分辨率处理，得到第二视频图像；/n解码辅助编码流，获取残差值；/n将所述第二视频图像的像素值与所述残差值叠加，得到目标视频图像。/n

【技术特征摘要】
1.一种视频解码方法，其特征在于，包括：
解码主编码流，获取第一视频图像；
采用神经网络模型对所述第一视频图像进行超分辨率处理，得到第二视频图像；
解码辅助编码流，获取残差值；
将所述第二视频图像的像素值与所述残差值叠加，得到目标视频图像。


2.如权利要求1所述的方法，其特征在于，所述神经网络模型是根据训练样本图像和训练目标图像训练得到的，所述训练目标图像是与所述目标视频图像的分辨率相同的视频图像，所述训练样本图像是对所述训练目标图像进行下采样、编码和解码处理得到的视频图像。


3.如权利要求1或2所述的方法，其特征在于，所述采用神经网络模型对所述第一视频图像进行超分辨率处理，得到第二视频图像，包括：
采用所述神经网络模型对所述第一视频图像的像素点亮度分量值进行超分辨率处理，得到所述第二视频图像的像素点亮度分量值；
所述将所述第二视频图像的像素值与所述残差值叠加，得到目标视频图像，包括：
将所述第二视频图像的像素点亮度分量值与所述残差值叠加，得到所述目标视频图像的像素点亮度分量值。


4.如权利要求3所述的方法，其特征在于，所述方法还包括：
对所述第一视频图像的像素点色度分量值进行插值处理，得到所述目标视频图像的像素点色度分量值。


5.如权利要求1-4中任一项所述的方法，其特征在于，所述第一视频图像为高动态范围HDR图像或者标准动态范围SDR图像。


6.一种视频编码方法，其特征在于，包括：
对初始视频图像进行下采样和编码处理，得到主编码流；
对所述主编码流进行解码，得到第一视频图像；
采用神经网络模型对所述第一视频图像进行超分辨率处理，得到与所述初始视频图像的分辨率相同的第二视频图像；
确定所述初始视频图像相对于所述第二视频图像的残差值；
对所述残差值进行编码，得到辅助编码流。


7.如权利要求6所述的方法，其特征在于，所述神经网络模型是根据训练样本图像和训练目标图像进行训练得到的，所述训练目标图像是与所述初始视频图像分辨率相同的视频图像，所述训练样本图像是对所述训练目标图像进行下采样、编码和解码处理后得到的视频图像。


8.如权利要求6或7所述的方法，其特征在于，所述采用神经网络模型对所述第一视频图像进行超分辨率处理，得到与所述初始视频图像的分辨率相同的第二视频图像，包括：
采用所述神经网络模型对所述第一视频图像的像素点亮度分量值进行超分辨率处理，得到所述第二视频图像的像素点亮度分量值；
所述确定所述初始视频图像相对于所述第二视频图像的残差值，包括：
将所述初始视频图像的像素点亮度分量值相对于所述第二视频图像的像素点亮度分量值的差值，确定为所述残差值。


9.如权利要求6-8中任一项所述的方法，其特征在于，所述初始视频图像为高动态范围HDR图像或者标准动态范围SDR图像。


10.一种视频解码器，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的程序，当所述处理器执行所述存储器存储的程序时，所述处理器用于：
解码主编码流，获取第一视频图像；
采用神经网络模型对所述第...

【专利技术属性】
技术研发人员：周川，金慕淳，
申请(专利权)人：华为技术有限公司，韩国科学技术院，
类型：发明
国别省市：广东;44