一种视频编码方法、解码方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种视频编码方法、解码方法、装置及电子设备，包括：获得失真图像，生成失真图像对应的边信息分量，将失真图像的失真图像颜色分量以及边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量，对待熵编码数据进行熵编码，得到编码后的视频比特流，待熵编码数据为对当前原始帧图像进行视频编码生成的，且包括用于生成边信息分量的边信息。采用该方案，实现了在视频编解码过程中，使用一种不同于现有技术的卷积神经网络模型对失真图像进行去失真处理。

A Video Coding Method, Decoding Method, Device and Electronic Equipment

The embodiment of the present invention provides a video coding method, decoding method, device and electronic equipment, including: obtaining distorted image, generating the corresponding edge information component of distorted image, inputting the distorted image color component and edge information component into the pre-established convolution neural network model for convolution filtering processing, obtaining the color component of the distorted image, and treating it. Entropy encoding data is used to encode the encoding video bit stream. Entropy encoding data is used to generate the video encoding for the current original frame image, and includes the edge information used to generate the edge information component. In the process of video coding and decoding, a convolutional neural network model different from the existing technology is used to de-distortion the distorted image.

【技术实现步骤摘要】
一种视频编码方法、解码方法、装置及电子设备
本专利技术涉及视频编解码
以及图像处理
，特别是涉及一种视频编码方法，以及一种视频解码方法，及相关装置和电子设备。
技术介绍
在视频编码系统中，原始视频数据被进行多种处理，如：预测、变换、量化、重建、滤波等，在这种处理过程中，已处理的视频数据相对原始视频数据可能已经发生像素偏移，导致视觉障碍或假象；此外，在大多数视频编码系统采用的基于块的混合编码框架下，由于相邻的编码块采用不同的编码参数(如不同的变换量化过程、不同的预测方式、不同参考图像等)，各块引入的误差大小及其分布特性相互独立，相邻块边界会产生不连续性，产生块效应。这些失真不但影响重建图像的主客观质量，若重建图像作为后续编码像素的参考图像，还会影响后续编码像素的预测准确性，影响最终视频比特流的大小。因此，视频编解码系统中，往往会在重建模块之后加入去失真滤波模块，如图1所示。然而，传统的去失真滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构，以实验和经验为基础配置滤波器系数，例如视频编码标准H.264标准、H.265标准中采用的去块滤波器(DF，DeblockingFilter)等；也有一类去失真滤波器，它们基于局部图像区域的一些统计信息，自适应地配置滤波器结构、滤波器系数等，如H.265标准里使用的样点自适应补偿技术(SAO，SampleAdaptiveOffset)、视频编解码里使用的自适应环路滤波技术(ALF，AdaptiveloopFilter)等，这类自适应滤波器复杂度较高，且编码端需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这无疑增加了编码比特数。近年来，深度学习理论迅速发展，与传统依赖先验知识的特征提取算法不同，深度神经网络可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和普适性。深度学习在许多高层次的计算机视觉问题上已经取得很大的成功，如图像分类、目标检测和目标分割等。2015年业界已经提出了基于卷积神经网络的端到端的图像超分辨率重建算法(SRCNN，SuperResolutionConvolutionalNeuralNetwork)，该网络相对于当时超分辨率重建领域的最领先技术展现了明显的优势，深度学习开始在低层次计算机视觉问题上显示出巨大的潜力；又如，受卷积神经网络在超分辨率恢复中的应用启发，业界内提出使用训练得到的多层卷积神经网络ARCNN(ArtifactsReductionConvolutionalNeuralNetwork)对JPEG编码后图像进行后处理滤波以去除图像失真，相对传统的滤波方法获得了明显的主、客观质量提升。目前，业界内还提出使用训练得到的卷积神经网络VRCNN(Variable-Filter-sizeResidue-learningConvolutionalNeuralNetwork)替代传统的去块滤波技术和自适应样点补偿技术，对帧内编码后的图像进行后处理滤波，实验结果表明相对于上述传统的环内滤波方法，卷积神经网络使得重建图像主、客观质量获得了大幅提升。基于卷积神经网络的端到端的图像去失真算法，避免了图像预处理、人工设计滤波器系数等过程，通过数据驱动自动学习图像失真特征及补偿方法，使用更简便、泛化性更佳、性能提升更明显，特别适用于糅合了多种失真的图像/视频压缩领域。
技术实现思路
本专利技术实施例的目的在于提供一种视频编码方法、解码方法、装置及电子设备，以实现在视频编解码过程中，使用一种不同于现有技术的卷积神经网络模型对失真图像进行去失真处理。具体技术方案如下：本专利技术实施例提供一种视频编码方法，包括：获得失真图像，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的；生成所述失真图像对应的边信息分量，所述边信息分量表示所述失真图像相对所述当前原始帧图像的失真特征；将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量，其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量；对待熵编码数据进行熵编码，得到编码后的视频比特流，所述待熵编码数据为对所述当前原始帧图像进行视频编码生成的，且包括用于生成所述边信息分量的边信息。进一步的，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的重建图像；或者所述失真图像为对重建图像采用其他预设滤波方法进行滤波后得到的，所述重建图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的。进一步的，所述边信息分量至少包括表示如下失真特征之一：表示所述失真图像相对所述当前原始帧图像的失真程度；表示所述失真图像相对所述当前原始帧图像的失真位置；表示所述失真图像相对所述当前原始帧图像的失真类型。进一步的，生成所述失真图像对应的边信息分量，包括：确定所述失真图像每个像素点的失真程度值；基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。进一步的，确定所述失真图像每个像素点的失真程度值，包括：获取所述当前原始帧图像的每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值。进一步的，基于所述失真图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述失真图像对应的边信息分量，包括：基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。本专利技术实施例还提供一种视频编码装置，包括：第一图像获得模块，用于获得失真图像，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的；第一生成模块，用于生成所述失真图像对应的边信息分量，所述边信息分量表示所述失真图像相对所述当前原始帧图像的失真特征；第一滤波处理模块，用于将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量，其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量；熵编码模块，用于对待熵编码数据进行熵编码，得到编码后的视频比特流，所述待熵编码数据为对所述当前原始帧图像进行视频编码生成的，且包括用于生成所述边信息分量的边信息。进一步的，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的重建图像；或者所述失真图像为对重建图像采用其他预设滤波方法进行滤波后得到的，所本文档来自技高网...

【技术保护点】
1.一种视频编码方法，其特征在于，包括：获得失真图像，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的；生成所述失真图像对应的边信息分量，所述边信息分量表示所述失真图像相对所述当前原始帧图像的失真特征；将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量，其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量；对待熵编码数据进行熵编码，得到编码后的视频比特流，所述待熵编码数据为对所述当前原始帧图像进行视频编码生成的，且包括用于生成所述边信息分量的边信息。

【技术特征摘要】
1.一种视频编码方法，其特征在于，包括：获得失真图像，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的；生成所述失真图像对应的边信息分量，所述边信息分量表示所述失真图像相对所述当前原始帧图像的失真特征；将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量，其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量；对待熵编码数据进行熵编码，得到编码后的视频比特流，所述待熵编码数据为对所述当前原始帧图像进行视频编码生成的，且包括用于生成所述边信息分量的边信息。2.如权利要求1所述的方法，其特征在于，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的重建图像；或者所述失真图像为对重建图像采用其他预设滤波方法进行滤波后得到的，所述重建图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的。3.如权利要求1所述的方法，其特征在于，所述边信息分量至少包括表示如下失真特征之一：表示所述失真图像相对所述当前原始帧图像的失真程度；表示所述失真图像相对所述当前原始帧图像的失真位置；表示所述失真图像相对所述当前原始帧图像的失真类型。4.如权利要求1所述的方法，其特征在于，生成所述失真图像对应的边信息分量，包括：确定所述失真图像每个像素点的失真程度值；基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。5.如权利要求4所述的方法，其特征在于，确定所述失真图像每个像素点的失真程度值，包括：获取所述当前原始帧图像的每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值。6.如权利要求4所述的方法，其特征在于，基于所述失真图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述失真图像对应的边信息分量，包括：基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。7.一种视频编码装置，其特征在于，包括：第一图像获得模块，用于获得失真图像，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的；第一生成模块，用于生成所述失真图像对应的边信息分量，所述边信息分量表示所述失真图像相对所述当前原始帧图像的失真特征；第一滤波处理模块，用于将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量，其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量；熵编码模块，用于对待熵编码数据进行熵编码，得到编码后的视频比特流，所述待熵编码数据为对所述当前原始帧图像进行视频编码生成的，且包括用于生成所述边信息分量的边信息。8.如权利要求7所述的装置，其特征在于，所述失真图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的重建图像；或者所述失真图像为对重建图像采用其他预设滤波方法进行滤波后得到的，所述重建图像为对待编码视频中的当前原始帧图像进行视频编码的过程中生成的。9.如权利要求7所述的装置，其特征在于，所述边信息分量至少包括表示如下失真特征之一：表示所述失真图像相对所述当前原始帧图像的失真程度；表示所述失真图像相对所述当前原始帧图像的失真位置；表示所述失真图像相对所述当前原始帧图像的失真类型。10.如权利要求7所述的装置，其特征在于，所述第一生成模块，具体用于确定所述失真图像每个像素点的失真程度值；并基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。11.如权利要求10所述的装置，其特征在于，所述第一生成模块，具体用于获取所述当前原始帧图像的每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值。12.如权利要求10所述的装置，其特征在于，所述第一生成模块，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。15.一种视频解码方法，其特征在于，包括：对接收的视频比特流进行熵解码，得到当前熵解码数据；获得失真图像，所述失真图像为对所述当前熵解码数据进行视频解码的过程中生成的；基于所述当前熵解码数据中包括的边信息，生成所述失真...

【专利技术属性】
技术研发人员：周璐璐，武晓阳，王莉，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33