视频运动补偿装置和方法制造方法及图纸

本发明专利技术涉及一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：帧缓冲器(207)，用于存储所述视频流的至少一个参考帧；帧间预测单元(210)，用于根据参考帧的参考块生成当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述视频编码器还包括锐化滤波器(211)，用于对所述预测块进行滤波；以及控制单元(212)，用于根据所述运动矢量的整数或分数位置控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块。

【技术实现步骤摘要】
【国外来华专利技术】视频运动补偿装置和方法
本专利技术一般涉及视频处理领域，涉及视频运动补偿装置，并且具体地涉及用于支持运动补偿以预测视频中的帧的视频编码器和视频解码器。本专利技术还涉及编码方法，用于使用运动补偿对视频流进行编码；和解码方法，用于使用运动补偿对视频流进行解码。最后，本专利技术涉及一种包含程序代码的计算机程序，以执行所述方法。
技术介绍
在视频处理领域中，特别是在混合视频编码和压缩领域，已知使用了帧间和帧内预测以及变换编码。这些混合视频编码技术用于诸如H.261、H.263、MPEG-1、2和4、H.264/AVC或H.265/HEVC等已知视频压缩标准中。图1示出了根据现有技术的视频编码器。视频编码器100包括用于接收视频流的帧或图像的输入块的输入端和用于生成编码视频比特流的输出端。视频编码器100用于对视频流进行预测、变换、量化和熵编码。变换、量化和熵编码分别由变换单元101、量化单元102和熵编码单元103执行，以生成编码视频比特流作为输出。视频流对应于多个帧，其中每个帧被分成帧内或帧间编码的一定大小的块。例如视频流的第一帧的块由帧内预测单元109进行帧内编码。仅使用同一帧内的信息进行帧内编码，使得其可以独立解码，并且可以在比特流中提供用于随机访问的入口点。视频流的其他帧的块由帧间预测单元110进行帧间编码。来自称作重建的参考帧的编码帧的信息用于减少时间冗余，从而根据重建的参考帧中相同大小的块预测出帧间编码帧的每个块。模式选择单元108用于选择是由帧内预测单元109还是由帧间预测单元110处理帧的块。为了执行帧间预测，编码参考帧由逆量化单元104和逆变换单元105处理，然后添加到预测块，并由环路滤波单元106处理，以获得重建的参考帧，然后将其存储在帧缓冲器107中用于时间帧间预测。帧间预测单元110包含待帧间编码的当前帧或图像以及来自帧缓冲器107的一个或多个参考帧或图像用作输入。由帧间预测单元110应用运动估计和运动补偿。运动估计用于基于某个损失函数得到运动矢量和参考帧。然后运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。帧间预测单元110针对当前块输出预测块，其中所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残余块。例如，残余块的最小化基于速率失真优化过程。然后，由变换单元101对当前块与其预测(即，残余块)之间的差值进行变换。由量化单元102和熵编码单元103对变换系数进行量化和熵编码。如此生成的编码视频比特流包括帧内编码块和帧间编码块。这种混合视频编码包括结合预测误差的变换编码的运动补偿预测。对于每个块，估计的运动矢量也作为编码视频比特流中的信令数据传输。当前的标准H.264/AVC和H.265/HEVC基于针对运动矢量的1/4像素位移分辨率。为了估计和补偿分数像素位移，参考帧必须在分数像素位置上插入。为了在分数像素位置上获得这样的插入帧，在帧间预测单元110中使用插值滤波器。插入帧的质量很大程度上取决于所使用的插值滤波器的属性。短抽头滤波器例如双线性滤波器可以抑制高频并且使插入帧变得模糊。其他滤波器如长抽头滤波器可以保持高频率，但在尖锐边缘附近产生一些环状伪影。另一个问题是运动补偿利用先前编码和重建的帧作为参考帧：参考帧可能包含由变换系数量化引起的伪影，这称为吉布斯效应。由于这些伪影，边缘以及边缘周围的区域也可能失真。在现有技术中已知通过对解码帧应用锐化或去模糊，可以增加边缘的质量。这种后滤波设计的问题在于，锐化滤波器不包括在编码过程中。因此，锐化滤波器的效果在速率失真优化过程中不能考虑在内。这可能会导致客观质量指标如峰值信噪比(peaksignaltonoiseratio，简称PSNR)的降低。为了增加客观质量，在现有技术中还已知将锐化滤波器添加到环路滤波单元106中。相应地，锐化滤波器应用于重建的参考帧，并且可以通过去除参考帧中的压缩伪影提升运动补偿预测。然而，这样的环路滤波技术不能去除由运动插值滤波器引起的伪影。
技术实现思路
认识到上述提及的缺点和问题，本专利技术旨在改进现有技术。特别地，本专利技术的目的是提供一种视频编码器、编码方法、视频解码器和解码方法，用于对后续帧的视频流进行改进编码和解码。特别地，本专利技术旨在提高帧间预测编码的质量。特别地，本专利技术旨在去除由运动估计和运动补偿引起的伪影。具体地，本专利技术的目的是减少运动插值滤波器的负面影响，即降低在分数像素位置上插入参考帧的负面影响，并通过减少参考帧的量化伪影提高预测质量。本专利技术上述提及的目标通过所附独立权利要求提供的方案实现。本专利技术有利的实现方案在各自的从属权利要求中进一步定义。本专利技术第一方面提供一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。所述视频编码器包括帧缓冲器，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。所述视频编码器包括帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述视频编码器包括锐化滤波器，用于对所述预测块进行滤波。所述视频编码器包括控制单元，用于根据用于生成所述预测块的所述运动矢量的整数或分数位置控制所述锐化滤波器。因而，将锐化滤波器应用于预测块提高了帧间预测编码的质量，因为其去除或至少减少了在分数像素位置上插入参考帧或块引起的环状伪影，即由运动插值滤波器引起的环状伪影，同时有益地保持了插入边缘的质量。其还去除或至少减少由参考块中的变换系数的量化引起的环状伪影，也称为吉布斯效应。其进一步减少了量化和运动插入引起的边缘模糊，并且也减少了运动模糊造成的边缘模糊。另外，本专利技术增加了重建的帧或块中边缘的主观质量。因而，根据本专利技术将锐化滤波器放置在运动插值滤波器之后，即在帧间预测单元之后，使得锐化滤波器执行环内参考滤波器也即环路滤波单元的任务，而同时可以去除或至少减少由运动插值滤波造成的伪影。此外，使用分数运动矢量位置控制锐化滤波器是有益的：通过将分数运动矢量位置用作信令点，避免了开启或关闭锐化滤波器的直接信令和滤波器的自适应系数；同时减少了信令开销，能够为自适应锐化预测滤波器工具找到更好的速率失真权衡。该提出的方法可以适应视频内容的本地特征，尤其是预测块的本地特征，使得甚至小块的编码仅需要更少的信令开销用于向解码器进行传输。根据第一方面所述的视频编码器的一个实现形式中，所述锐化滤波器包括至少一个自适应参数。所述控制单元用于通过根据所述运动矢量的整数或分数位置选择所述自适应参数的参数值并且通过将选择的参数值应用于所述锐化滤波器来控制所述锐化滤波器。因而，预测块通过能用于视频的具体内容的锐化滤波器来进行滤波。自适应能够考虑视频内容的本地特征，并且由于使用了分数运动矢量位置控制所述锐化滤波器，可以限制所需的信令开销。根据第一方面所述的视频编码器的另一种实现形式中，所述运动矢量的每个整数或分数位置与所述自适应参数的参数值关联。假若所述自适应锐化滤波器具有若干个自适应参数，所述运动矢量的每个整数或分数位置可以与自适应参数值的集合关联。因而，保证了每个运动矢量的位置可以用于获得参数值并因此控制所述锐化滤波器。根据第一方面本文档来自技高网...

【技术保护点】
一种视频编码器，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：帧缓冲器(207)，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；帧间预测单元(210)，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；其中所述预测块通过具有分数像素分辨率的运动矢量生成，所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置；锐化滤波器(211)，用于对所述预测块进行滤波；以及控制单元(212)，用于根据所述运动矢量的整数或分数位置控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块的。

【技术特征摘要】
【国外来华专利技术】1.一种视频编码器，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：帧缓冲器(207)，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；帧间预测单元(210)，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；其中所述预测块通过具有分数像素分辨率的运动矢量生成，所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置；锐化滤波器(211)，用于对所述预测块进行滤波；以及控制单元(212)，用于根据所述运动矢量的整数或分数位置控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块的。2.根据权利要求1所述的视频编码器，其特征在于，所述锐化滤波器(211)包括至少一个自适应参数；以及所述控制单元(212)用于通过根据所述运动矢量的整数或分数位置选择所述自适应参数的参数值并且通过将选择的参数值应用于所述锐化滤波器(211)来控制所述锐化滤波器(211)。3.根据权利要求2所述视频编码器，其特征在于，所述运动矢量的每个整数或分数位置与所述自适应参数的参数值关联。4.根据权利要求2所述视频编码器，其特征在于，所述运动矢量的至少一个整数或分数位置无关联的参数值；若所述运动矢量的位置未关联参数值，所述控制单元(212)用于绕开所述锐化滤波器(211)。5.根据权利要求2所述视频编码器，其特征在于，包括多个锐化滤波器(211)，用于对所述预测块进行滤波；其中所述控制单元(212)用于根据所述运动矢量的整数或分数位置选择所述多个锐化滤波器(211)中的一个，并将选择的锐化滤波器(211)应用到所述预测块。6.根据权利要求2至5中的任一项所述的视频编码器，其特征在于，所述锐化滤波器(211)包括：边缘图计算单元(401和402)，用于生成源块的边缘图，所述源块是所述参考块或所述预测块；模糊滤波器(404)，用于模糊所述源块的所述边缘图；高通滤波器(405)，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量(d2x，d2y)；缩放单元(406)，用于通过使用锐化强度系数(k)缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及扭曲单元(407)，用于基于所述位移矢量(wx，wy)扭曲所述预测块；其中所述自适应参数包含所述锐化强度系数(k)。7.根据上述权利要求的任一项所述的视频编码器，其特征在于，所述控制单元(212)用于控制绕开和应用预测块滤波中的至少一种，所述预测块滤波由锐化滤波器(211)根据所述运动矢量的整数或分数位置进行。8.根据上述权利要求的任一项所述的视频编码器，其特征在于，锐化图案分别针对运动矢量的整数位置以及一个或多个关联的分数位置定义锐化信息；以及所述控制单元(212)用于利用至少一个锐化图案，从而根据在所述运动矢量对应的位置上的至少一个锐化图案中定义的锐化信息控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块。9.根据权利要求8所述的视频编码器，其特征在于，所述控制单元(212)用于利用单个锐化图案。10.根据权利要求9所述的视频编码器，其特征在于，所述控制单元(212)用于针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。11.根据权利要求8所述的视频编码器，其特征在于，所述控制单元(212)用于利用多个锐化图案，并进一步用于针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层选择所述锐化图案中的一个。12.根据权利要求11所述的视频编码器，其特征在于，所述控制单元(212)用于基于残余块的最小化或者基于成本标准例如速率失真优化选择所述锐化图案中的一个，所述残余块为当前块和预测块之间差值。13.根据权利要求11或12所述的视频编码器，其特征在于，包括编码单元(203)，用于生成所述编码视频比特流，并在所述编码视频比特流中添加所述控制单元(212)选择的锐化图案。14.根据权利要求8至13中的任一项所述的视频编码器，其特征在于，所述至少一个锐化图案预存在所述控制单元(212)能够访问的内存中。15.根据权利要求8至14中的任一项所述的视频编码器，其特征在于，包括编码单元(203)，用于生成所述编码视频比特流，并在所述编码视频比特流中添加所述控制单元(212)的所述至少一个锐化图案。16.根据权利要求8至15中的任一项所述的视频编码器，其特征在于，所述控制单元(212)用于更改锐化图案的数量和/或所述至少一个锐化图案的锐化信息。17.根据权利要求16所述的视频编码器，其特征在于，针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(...

【专利技术属性】
技术研发人员：谢尔盖·尤利耶维奇·伊柯宁，马克西姆·波里索维奇·瑟乔夫，维克多·阿列克谢耶维奇·斯蒂平，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44