一种视频编码、解码方法及视频编码帧内预测器技术

本发明专利技术公开一种视频编码、解码方法及视频编码帧内预测器。本发明专利技术的预测器包括一循环神经网络，所述循环神经网络用于生成待编码块的预测值；其中，所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；然后将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值。本发明专利技术通过块级参考像素的选取和端到端的预测方法提高了编码效率，增强了现有视频编码器的编码性能。

A video coding and decoding method and video coding intra predictor

【技术实现步骤摘要】
一种视频编码、解码方法及视频编码帧内预测器
本专利技术主要涉及视频编码压缩技术，具体涉及一种基于空间循环神经网络的视频编码、解码方法及视频编码帧内预测器。
技术介绍
人们对于视频质量的需求与日俱增，然而视频的数据量往往较大，存储和传输视频的硬件资源有限，成本较高，对视频进行编码压缩就显得尤为重要。这项技术深刻影响着人们生活的方方面面，包括数字电视、电影、网络视频、移动视频直播等等。基于变换量化的编码方法，使用时频变换将图像映射到频域，选择性地减少图像中人类难以察觉的高频信息，能够在少量牺牲视觉质量的情况下，大大减小视频传输的码率，也减少了视频传输的体积。进一步地，由于视频两帧之间有着非常大的相关性和信息冗余，在一帧之内，块与块之间也有很大的纹理连续性，因此在现代编码器中，会使用帧间和帧内预测的方法，来进一步减小视频码率。传统的帧内预测方法，基于自然图像中的纹理往往具有方向性这一假设，使用预定义的几个固定方向模式，在预测时，采用已编码块中与待编码快最邻近的一行像素作为参考像素。枚举地尝试每一个方向，选择编码代价最少的一个模式，编入码流中。该预测方法有效地减少了编码码率。然而，该方法存在缺点。一方面，该方法仅仅使用单行像素作为参考，在低码率高噪声的情形中，单行像素中的噪声会严重影响预测的准确度。另一方面，由于上述方向性假设，该方法无法处理弯曲边缘以及复杂纹理。
技术实现思路
本专利技术的目的在于提供一种视频编码、解码方法及视频编码帧内预测器，增强现有视频编码器的编码性能。本专利技术通过块级参考像素的选取和端到端的预测方法解决上述存在的问题，提高编码效率。本专利技术的技术方案为：一种视频编码方法，其步骤包括：1)利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；2)将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值；3)对该待编码块的预测值和实际值的残差进行编码。一种视频编码方法，其步骤包括：1)取得当前待编码块周围已编码的编码块作为该待测编码块的参考块；分别使用HEVC和循环神经网络生成该待编码块的预测值；其中，利用循环神经网络生成该待编码块的预测值的方法为：11)利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；12)将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值；2)计算使用HEVC生成该待编码块的预测值与实际值的残差和码率代价大小，计算使用循环神经网络生成该待编码块的预测值与实际值的残差和码率代价大小；3)如果HEVC方式对应的码率代价小于循环神经网络对应的码率代价，则在码流中生成一预测模式标志位0，否则在码流中生成一预测模式标志位1，然后编码残差对应的码字。进一步的，提取所述局部特征的方法为：对特征空间中产生的特征张量，在空间上分别使用横向和竖向的空间循环网络层提取该图像的局部特征。进一步的，所述局部特征为刻画了参考块中像素的分布特性的特征。所述局部特征包括图像的边缘方向、像素的统计特征和像素之间纹理的方向。进一步的，所述空间循环神经网络的第一部分为预处理卷积层、第二部分为串联循环网络预测单元、第三部分为重建卷积部分；其中，该预处理卷积层，用于将该图像映射到特征空间，该串联循环网络预测单元包括三个串联的空间循环神经网络单元，所述空间循环神经网络单元，用于将该特征空间内特征图组成的张量在空间上分别按横向和竖向切分成若干个平面，每一个平面被展开成向量，以从上到下和从左到右的顺序，分别使用门控循环单元空间循环神经网络进行处理，并将处理后得到的向量序列重新拼接成与原来平面形状一致的平面，以及根据处理后得到的向量序列在横向和竖向分别整合成一个与输入形状一致的特征张量；然后将得到的两个特征张量在通道维进行拼接；然后利用该重建卷积层对拼接后的特征张量进行融合，得到该待编码块的预测值。进一步的，训练得到所述空间循环神经网络的方法为：i.采集多个图像，利用采集的图像生成多个分辨率不同的视频，然后对每一视频在多个量化参数下进行编码；其中，在编码过程中，取得帧内预测的上下文作为训练数据；所述预测上下文包含预测可用的参考块和待编码块的实际值；ii.将训练数据中待编码块周围的参考块作为输入数据，使用空间循环神经网络进行预测，得到对应待编码块的预测值；iii.计算待编码块的预测值与实际值的SATD；iv.使用Adam优化器，使用Adam优化器和反向传播方法更新神经网络各层的参数；v.重复步骤b)～步骤d)，直到所述空间循环神经网络收敛。一种视频进行解码的方法，其步骤包括：a)从码流中读取预测模式标志位；b)如果该预测模式标志位是0，则读取码流中表示HEVC帧内预测描述的信息，使用对应的模式和已经解码的临近块，得到预测信号；如果该标志位是1，则使用空间循环神经网络进行预测，得到预测信号；c)解码码流中编码的残差信息，将解码得到的残差信息与预测信号相加，得到对应编码块的解码重建信号。一种视频编码帧内预测器，其特征在于，包括一循环神经网络，所述循环神经网络用于生成待编码块的预测值；其中，所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；然后将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值。具体来说，本专利技术以HEVC编码器为基本框架。HEVC会对视频的一帧进行分块编码。在编码一个待编码块(PredictionUnit，PU)时，编码器首先会使用已经编码的部分来预测该PU的像素，再编码预测值和实际值的残差。预测越准确，残差越稀疏，编码残差的代价越小。在本专利技术中，重点改进了预测的方法。具体来说，本专利技术设计了适用于视频帧内预测编码的空间循环神经网络。在该神经网络中，首先使用参考块像素值的均值对待编码块进行填充产生输入图像，然后使用卷积神经网络，将上述图像映射到特征空间。在特征空间中，针对产生的特征张量，在空间上分别使用横向和竖向的空间循环网络层提取上述产生的输入图像的局部特征。自主学习提取的局部特征，例如图像中内容的边缘方向，像素的统计特征和像素之间纹理的方向，刻画了参考块中像素的分布特性。基于待编码块中的像素分布和参考块中的分布一致这一假设，自主学习的网络结构可以利用这些特征，根据已知区域逐渐产生未知区域的特征，来逐步补充待编码区域的内容。横向空间循环神经网络主要对纹理的横向分量进行处理，竖向空间循环神经网络主要对纹理的竖向分量进行处理。最终再使用卷积神经网络对横向预测和竖向预测进行融合，重复以上过程三次之后，使用卷积神经网络将特征空间中的特征图再次映射回像素空间，得到待编码块的预测值。使用该空间循环神经网络，提高了预测的准确度，减少了编码预测中需要记录的标志位所占的码率，从而整体提高了编码性本文档来自技高网...

【技术保护点】
1.一种视频编码方法，其步骤包括：/n1)利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；/n2)将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值；/n3)对该待编码块的预测值和实际值的残差进行编码。/n

【技术特征摘要】
1.一种视频编码方法，其步骤包括：
1)利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；
2)将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值；
3)对该待编码块的预测值和实际值的残差进行编码。


2.一种视频编码方法，其步骤包括：
1)取得当前待编码块周围已编码的编码块作为该待测编码块的参考块；分别使用HEVC和循环神经网络生成该待编码块的预测值；其中，利用循环神经网络生成该待编码块的预测值的方法为：11)利用待编码块的参考块的像素值均值对该待编码块进行填充，产生一图像；12)将该图像映射到特征空间，并提取该图像的局部特征；然后利用所述局部特征对该待编码块的预测块进行填充，得到该待编码块的预测值；
2)计算使用HEVC生成该待编码块的预测值与实际值的残差和码率代价大小，计算使用循环神经网络生成该待编码块的预测值与实际值的残差和码率代价大小；
3)如果HEVC方式对应的码率代价小于循环神经网络对应的码率代价，则在码流中生成一预测模式标志位0，否则在码流中生成一预测模式标志位1，然后编码残差对应的码字。


3.如权利要求1或2所述的方法，其特征在于，提取所述局部特征的方法为：对特征空间中产生的特征张量，在空间上分别使用横向和竖向的空间循环网络层提取该图像的局部特征。


4.如权利要求1或2所述的方法，其特征在于，所述局部特征为刻画了参考块中像素的分布特性的特征。所述局部特征包括图像的边缘方向、像素的统计特征和像素之间纹理的方向。


5.如权利要求1或2所述的方法，其特征在于，所述空间循环神经网络的第一部分为预处理卷积层、第二部分为串联循环网络预测单元、第三部分为重建卷积部分；其中，该预处理卷积层，用于将该图像映射到特征空间，该串联循环网络预测单元包括三个串联的空间循环神经网络单元，所述空间循环神经网络单元，用于将该特征空间内特征图组成的张量在空间上分别按横向和竖向切分成若干个平面，每一个平面被展开成向量，以从上到下和从左到右的顺序，分别使用门控循环单元空间循环神经网络进行处理，并将处理后得到的向量序列重新拼接成与原来平面形状一致的平面，以及根据处理后得到的向量序列在横向和竖向分别整合成一个与输入形状一致的特征张量；然后将得到的两个特征张量在通道维进行拼接；然后利用该重建卷积层对拼接后的特征张量进行融合，得到该待编码块的预测值。


6.如权利要求1或2所述的方法，其特征在于，训练得到所述空间循环神经网络的方法为：
a)采集多个图像，利用采集的图像生成多个分辨率不同的视频，然后对每一视频在多个量化参数下进行编码；其中，在编码过程中，取得帧内预测的上下文作为训练数据；所述预测上下文包含预测可用的参考块和待编码块的...

【专利技术属性】
技术研发人员：刘家瑛，胡越予，杨文瀚，夏思烽，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11