用于视频编解码的基于双向预测光流技术的运动补偿方法及装置制造方法及图纸

本发明专利技术公开了一种运动补偿方法及装置，其使用双向光流技术。根据本发明专利技术的一方法，双向光流流程被应用以仅以合并模式或仅以高级运动矢量预测模式编码或解码双向当前块。根据另一方法，如果当前块是使用双向预测模式编解码的，基于联合编解码标志，双向光流流程有条件地编码或解码当前块。根据又一方法，当前块的x偏移值vx和y偏移值vy被添加到当前运动矢量以形成最终运动矢量。随后最终运动矢量用作候选块的参考运动矢量。在又一方法中，双向光流流程被应用于色度分量。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的基于双向预测光流技术的运动补偿方法及装置优先权声明本专利技术要求在2016年02月05日提出的申请号为62/291,588的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及运动补偿，以用于使用双向光流(bi-directionalopticalflow，BIO)技术的视频编解码。具体地，本专利技术涉及在一些条件下选择性地使用BIO，以提高性能或者降低使用BIO技术的复杂度。
技术介绍
双向光流是JCTVC-C204(E.Alshina,etal.,Bi-directionalopticalflow,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,3rdMeeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C204)和VCEG-AZ05(E.Alshina,etal.,Knowntoolsperformanceinvestigationfornextgenerationvideocoding,ITU-TSG16Question6,VideoCodingExpertsGroup(VCEG),52ndMeeting:19–26June2015,Warsaw,Poland,Document:VCEG-AZ05)中公开的运动估计/运动补偿技术。双向光流基于光流和稳定运动的假设推导出样本层运动细分(refinement)。双向光流仅被使用以用于真实双向预测块，其可以自对应于先前帧和后续帧的两个参考帧预测。在VCEG-AZ05中，双向光流采用5x5窗口以推导出每个样本的运动细分。因此，对于NxN块，(N+4)x(N+4)块的运动补偿结果和相应的梯度信息被需要，以推导出用于NxN块的基于样本的运动细分。根据VCEG-AZ05，6抽头(Tap)梯度滤波器和6抽头插值滤波器用于生成用于双向光流的梯度信息。因此，双向光流的计算复杂度比传统的双向预测的计算复杂度高得多。为了进一步提高双向光流的性能，提出了如下方法。在HEVC中的传统的双向预测中，使用等式(1)，生成预测子，其中P(0)和P(1)分别是列表0预测子和列表1预测子。PConventional[i,j]＝(P(0)[i,j]+P(1)[i,j]+1)>>1(1)在JCTVC-C204和VECG-AZ05中，使用等式(2)，生成双向光流预测子。POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix(0)-Ix(1)[i,j])+vy[i,j](Iy(0)-Iy(1)[i,j])+1)>>1(2)在等式(2)中，Ix(0)和Ix(1)分别表示列表0预测子和列表1预测子中的x方向梯度；Iy(0)和Iy(1)分别表示列表0预测子和列表1预测子中的y方向梯度；vx和vy分别表示x方向的偏移和y方向的偏移。图1示出了使用双向光流技术的运动补偿的示例，其中参考图像0(130)和参考图像1(110)用于推导用于B切片(120)的运动矢量。偏移Vx和偏移Vy被推导出，并在等式(2)中使用。如等式(3a)和等式(3b)所示，使用差分技术以自图像强度(intensity)的时空导数(derivatives)计算速度，上述等式被推导出，I(x,y,t)表示时空坐标系中图像强度。I(x,y,t)＝I(x+MV0x+vx,y+MV0y+vy,t-Δt)(3a)＝I(x+MV1x-vx,y+MV1y-vy,t+Δt)(3b)等式(3a)可以被进一步推导成如下：同理，等式(3b)可以被进一步推导成如下：因此，双向光流被推导成如下，其等价于等式(2)，其中和根据如下，两点的值之间的差Δ[i,j]可以被推导成：在本专利技术中，两点的值之间的差Δ[i,j]称为位于两点处的流差(flowdifference)。在等式(6)中，vx[i,j]和vy[i,j]是像素方向(pixel-wise)运动矢量细分分量，其中仅微运动(finemotion)被考虑，并且主运动(majormotion)由运动补偿而进行补偿。相应地，和也是列表0参考帧和列表1参考帧的位置[i,j]处的亮度I的梯度。在本专利技术中，运动矢量细分分量，即vx[i,j]和vy[i,j]，也称为x偏移值和y偏移值。为了解出vx[i,j]和vy[i,j]，一个包括正在被处理的像素和(2M+1)×(2M+1)相邻像素的窗口被使用。像素集Ω表示窗口中的像素，即当且仅当i-M≤i'≤i+M和j-M≤j’≤j+M，[i',j’]∈Ω。基于减少的值，vx[i,j]和vy[i,j]被选择。用于整数像素分辨率的梯度计算如下所示：对于分数像素分辨率，插值先被执行，并且梯度被计算为：在上述等式中，α是块运动矢量，R(k)[i,j]是位于整数位置[i,j]的参考图像值，其中k＝0或1，Fn(α)是用于分数MV的插值滤波器的滤波器。对于x方向梯度，如果y位置是整数，则亮度梯度滤波器被使用。如果y位置是分数，则y方向中的插值被执行，并且亮度梯度滤波器在x方向中被使用。对于y方向梯度，如果x位置是整数，则亮度梯度滤波器被使用。如果x位置是分数，则亮度梯度滤波器在y方向中被使用，并且x方向中的插值被执行。在现有的双向光流实施方式中，用于vx[i,j]和vy[i,j]的窗口尺寸是5x5，并且双向光流仅被应用到仅具有真实双向预测2N×2N编码单元(codingunit，CU)的亮度分量。对于位于分数像素分辨率处的梯度计算，额外的6抽头插值滤波器/6抽头梯度滤波器被使用。另外，垂直流程先被执行，然后水平流程被执行。
技术实现思路
本专利技术公开了一种运动补偿方法及装置，其使用双向光流技术。根据本专利技术的一方法，如果当前块是使用双向预测模式编解码的，则基于用于编码或解码当前块的当前模式，将有条件地应用双向光流流程以编码或解码当前块。如果当前模式等于一个或多个所选择的模式，则具有双向光流流程的当前模式用于编码或解码当前块，以及如果当前模式不等于一个或多个所选择的模式，则没有双向光流流程的当前模式用于编码或解码当前块。在一个实施例中，所选择的模式仅包括合并模式。在另一实施例中，所选择的模式仅包括高级运动矢量预测模式。根据另一方法，如果当前块是使用双向预测模式编解码的，则基于联合编解码标志，将有条件地应用双向光流流程以编码或解码当前块。如果联合编解码标志具有第一值，则具有双向光流流程的当前模式用于编码或解码当前块，以及如果联合编解码标志具有第二值，则没有双向光流流程的当前模式用于编码或解码当前块。当当前块不是以双向预测模式编解码的时，联合编解码标志可以用于指示另一流程是否是被开启还是被关闭以用于当前块。另一流程可以对应于低通滤波器流程、尖锐滤波器流程或偏移流程，以修改多个运动补偿结果。根据又一方法，双向光流流程被应用以推导出当前块的x偏移值vx和y偏移值vy。x偏移值vx和y偏移值vy被添加到一个或多个原始运动矢量，以获得当前块的一个或多个最终运动矢量。基于当前块的最终运动矢量，多个双向预测子被生本文档来自技高网...

【技术保护点】
1.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：在编码器侧处，接收与当前图像中的当前色度块相关的输入数据，或者在解码器侧处，接收包括所述当前色度块的已压缩数据的视频比特流，其中所述当前图像包括一亮度分量和一个或多个色度分量；如果所述当前色度块是使用双向预测模式编解码的，则将应用双向光流流程以编码或解码所述当前色度块；以及在所述编码器侧处，输出包括所述当前色度块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前色度块的已重构块的已重构数据。

【技术特征摘要】
【国外来华专利技术】2016.02.05 US 62/291,5881.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：在编码器侧处，接收与当前图像中的当前色度块相关的输入数据，或者在解码器侧处，接收包括所述当前色度块的已压缩数据的视频比特流，其中所述当前图像包括一亮度分量和一个或多个色度分量；如果所述当前色度块是使用双向预测模式编解码的，则将应用双向光流流程以编码或解码所述当前色度块；以及在所述编码器侧处，输出包括所述当前色度块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前色度块的已重构块的已重构数据。2.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于所述当前色度块的与所述双向光流流程相关的色度x偏移值vx和色度y偏移值vy是仅基于一个或多个色度分量推导出的。3.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于所述当前色度块的与所述双向光流流程相关的色度x偏移值vx和色度y偏移值vy重新使用仅基于所述亮度分量推导出的与所述双向光流流程相关的亮度x偏移值vx和亮度y偏移值vy。4.如权利要求3中所述的视频数据的运动补偿方法，其特征在于，所述色度x偏移值vx和所述色度y偏移值vy是基于所述亮度分量与所述一个或多个色度分量的分辨率之比进行缩放的。5.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于所述当前色度块的与所述双向光流流程相关的x偏移值vx和y偏移值vy是基于所述亮度分量和所述一个或多个色度分量推导出的。6.一种视频数据的运动补偿装置，其特征在于，由视频编码器或视频解码器执行，该装置包括一个或多个电子电路或处理器，用于：在编码器侧处，接收与当前图像中的当前色度块相关的输入数据，或者在解码器侧处，接收包括所述当前色度块的已压缩数据的视频比特流，其中所述当前图像包括一亮度分量和一个或多个色度分量；如果所述当前色度块是使用双向预测模式编解码的，则将应用双向光流流程以编码或解码所述当前色度块；以及在所述编码器侧处，输出包括所述当前色度块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前色度块的已重构块的已重构数据。7.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；如果所述当前块是使用双向预测模式编解码的，则基于用于编码或解码所述当前块的当前模式，有条件地应用双向光流流程以编码或解码所述当前块，其中如果所述当前模式等于一个或多个所选择的模式，则具有所述双向光流流程的所述当前模式用于编码或解码所述当前块，以及如果所述当前模式不等于所述一个或多个所选择的模式，则没有所述双向光流流程的所述当前模式用于编码或解码所述当前块；以及在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。8.如权利要求7中所述的视频数据的运动补偿方法，其特征在于，所述一个或多个所选择的模式仅包括合并模式。9.如权利要求7中所述的视频数据的运动补偿方法，其特征在于，所述一个或多个所选择的模式仅包括高级运动矢量预测模式。10.一种视频数据的运动补偿装置，其特征在于，由视频编码器或视频解码器执行，该装置包括一个或多个电子电路或处理器，用于：在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；如果所述当前块是使用双向预测模式编解码的，则基于用于编码或解码所述当前块的当前模式，有条件地应用双向光流流程以编码或解码所述当前块，其中如果所述当前模式等于一个或多个所选择的模式，则具有所述双向光流流程的所述当前模式用于编码或解码所述当前块，以及如果所述当前模式不等于所述一个或多个所选择的模式，则没有所述双向光流流程的所述当前模式用于编码或解码所述当前块；以及在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前...

【专利技术属性】
技术研发人员：陈庆晔，庄子德，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71