基于双向预测光流技术的视频编解码的运动补偿方法及装置制造方法及图纸

本发明专利技术公开了一种运动补偿方法及装置，其使用双向光流技术。根据一方法，通过包括两个参考图像对应于两个之前已编解码图像的情况，双向光流的使用被拓展到常规双向预测运动补偿。根据另一方法，基于与两个参考块相关的两个运动矢量的线性，或者基于当前块的块尺寸，双向光流的使用被自适应地使用。根据又一方法，通过用各自的x偏移值和y偏移值来补偿原始运动矢量，将细分运动矢量存储到运动矢量缓存器中，以用于一个或多个后续块的运动矢量预测。

【技术实现步骤摘要】
【国外来华专利技术】基于双向预测光流技术的视频编解码的运动补偿方法及装置优先权声明本专利技术要求在2015年09月02日提出的申请号为62/213,249的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及运动补偿，以用于使用双向光流(bi-directionalopticalflow，BIO)技术的视频编解码。具体地，本专利技术涉及将双向光流拓展到更常规示例，或者自适应地使用双向光流，以提高性能或者降低复杂度。
技术介绍
双向光流是JCTVC-C204(E.Alshina,etal.,Bi-directionalopticalflow,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,3rdMeeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C204)和VCEG-AZ05(E.Alshina,etal.,Knowntoolsperformanceinvestigationfornextgenerationvideocoding,ITU-TSG16Question6,VideoCodingExpertsGroup(VCEG),52ndMeeting:19–26June2015,Warsaw,Poland,Document:VCEG-AZ05)中公开的运动估计/运动补偿技术。双向光流基于光流和稳定运动的假设推导出样本层运动细分(refinement)。双向光流仅被使用以用于真实双向预测块，其可以自对应于先前帧和后续帧的两个参考帧预测。在VCEG-AZ05中，双向光流采用5x5窗口以推导出每个样本的运动细分。因此，对于NxN块，(N+4)x(N+4)块的运动补偿结果和相应的梯度信息被需要，以推导出用于NxN块的基于样本的运动细分。根据VCEG-AZ05，6抽头(Tap)梯度滤波器和6抽头插值滤波器用于生成用于双向光流的梯度信息。因此，双向光流的计算复杂度比传统的双向预测的计算复杂度高得多。为了进一步提高双向光流的性能，提出了如下方法。在HEVC中的传统的双向预测中，使用等式(1)，生成预测子，其中P(0)和P(1)分别是列表0预测子和列表1预测子。在JCTVC-C204和VECG-AZ05中，使用等式(2)，生成双向光流预测子。POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix(0)-Ix(1)[i,j])+vy[i,j](Iy(0)-Iy(1)[i,j])+1)>>1(2)在等式(2)中，Ix(0)和Ix(1)分别表示列表0预测子和列表1预测子中的x方向梯度；Iy(0)和Iy(1)分别表示列表0预测子和列表1预测子中的y方向梯度；vx和vy分别表示x方向的偏移和y方向的偏移。如等式(3a)和等式(3b)所示，使用不同技术以自图像强度(intensity)的时空导数(derivatives)计算速度，上述等式被推导出，I(x,y,t)表示时空坐标系中图像强度。I(x,y,t)＝I(x+MV0x+vx,y+MV0y+vy,t-Δt)(3a)＝I(x+MV1x-vx,y+MV1y-vy,t+Δt)(3b)等式(3a)可以被进一步推导成如下：同理，等式(3b)可以被进一步推导成如下：因此，双向光流被推导成如下，其等价于等式(2)与和根据如下，两点中的值之间的差Δ[i,j]可以被推导成：Δ[i,j]＝P(0)[i,j]-P(1)[i,j]+vx[i,j](Ix(0)[i,j]+Ix(1)[i,j])+vy[i,j](Iy(0)[i,j]+Iy(1)[i,j])＝P(0)[i,j]+vx[i,j]Ix(0)[i,j]+vy[i,j]Iy(0)[i,j]-(P(1)[i,j]-vx[i,j]Ix(1)[i,j]-vy[i,j]Iy(1)[i,j])(6)在本专利技术中，两点中的值之间的差Δ[i,j]称为位于两点处的流差(flowdifference)。在等式(6)中，vx[i,j]和vy[i,j]是像素方向(pixel-wise)运动矢量细分分量，其中仅微运动(finemotion)被考虑，并且主运动(majormotion)由运动补偿而进行补偿。相应地，和也是列表0参考帧和列表1参考帧的位置[i,j]处的亮度I的梯度。在本专利技术中，运动矢量细分分量，即vx[i,j]和vy[i,j]，也称为x偏移值和y偏移值。为了解决vx[i,j]和vy[i,j]，一个包括正在被处理的像素和(2M+1)×(2M+1)相邻像素的窗口被使用。像素集Ω表示窗口中的像素，即当且仅当i-M≤i'≤i+M和j-M≤j’≤j+M，[i',j’]∈Ω。基于减少的值，vx[i,j]和vy[i,j]被选择。用于整数像素分辨率的梯度计算如下所示：对于分数像素分辨率，插值先被执行，并且梯度被计算为：在上述等式中，α是块运动矢量，R(k)[i,j]是位于整数位置[i,j]的参考图像值，其中k＝0或1，Fn(α)是直接提供导数的滤波器。对于x方向梯度，如果y位置是整数，则亮度梯度滤波器被使用。如果y位置是分数，则y方向中的插值被执行，并且亮度梯度滤波器在x方向中被使用。对于y方向梯度，如果x位置是整数，则亮度梯度滤波器被使用。如果x位置是分数，则亮度梯度滤波器在y方向中被使用，并且x方向中的插值被执行。在现有的双向光流实施方式中，用于vx[i,j]和vy[i,j]的窗口尺寸是5x5，并且双向光流仅被应用到仅具有真实双向预测2N×2N编码单元(codingunit，CU)的亮度分量。对于位于分数像素分辨率处的梯度计算，额外的6抽头插值滤波器/6抽头梯度滤波器被使用。另外，垂直流程先被执行，然后水平流程被执行。
技术实现思路
本专利技术公开了一种运动补偿方法及装置，其使用双向光流技术。根据本专利技术的一方法，通过包括两个参考图像对应于两个之前已编解码图像的情况，双向光流的使用被拓展到常规双向预测运动补偿。在一个实施例中，用于两个参考块中的两个相应位置的两个x偏移值和两个y偏移值具有相同的值大小，但相反的符号。在另一实施例中，用于两个参考块中的两个相应位置的两个x偏移值和两个y偏移值具有相同的值和相同的符号。在又一实施例中，用于两个参考块中的两个相应位置的两个x偏移值和两个y偏移值与第一参考图像与当前图像之间和第二参考图像与当前图像之间的两个相对时间距离成比例。根据本专利技术的另一方法，基于与两个参考块相关的两个运动矢量的线性，或者基于当前块的块尺寸，双向光流的使用被自适应地使用。例如，若第一运动矢量和第二运动矢量的线性满足线性阈值，或者若当前块的块尺寸大于阈值块尺寸，则使用双向光流预测，编码或者解码当前块。根据本专利技术的又一方法，通过用各自的x偏移值和y偏移值来补偿原始运动矢量，将细分运动矢量存储到运动矢量缓存器中，以用于一个或多个后续块的运动矢量预测。若双向光流预测基于当前块的多个子块的块层而被应用到当前块，则将与多个子块相关的多个细分运动矢量存储在运动矢量缓存器中。附图说明图1是使用双向光流技术的运动补偿的示例。图2是根据本专利技术一实施本文档来自技高网...

【技术保护点】
一种视频数据的运动补偿方法，其特征在于，该方法包括：接收与当前图像中的当前块相关的输入数据；确定基于第一运动矢量的第一参考图像中的第一参考块和基于第二运动矢量的第二参考图像中的第二参考块，其中该第一参考图像和该第二参考图像是两个之前已编解码图像；推导出对应于该第一参考块的第一x方向梯度与该第二参考块的第二x方向梯度之间的该当前块的特定位置的x方向梯度差；推导出对应于该第一参考块的第一y方向梯度与该第二参考块的第二y方向梯度之间的该当前块的该特定位置的y方向梯度差；根据光流模型，确定x偏移值和y偏移值，其中该x偏移值和该y偏移值被选择以获得第一位置与第二位置之间的减少流差或者最小流差，且该第一位置和该第二位置是分别对应于该当前块的该特定位置的该第一参考块和该第二参考块中的两个位置；基于该第一参考块、该第二参考块、由该x偏移值所加权的该x方向梯度差和由该y偏移值所加权的该y方向梯度差，推导出对应于该特定位置的双向光流预测；以及使用对应于该特定位置的双向光流预测，编码或解码位于该当前块的该特定位置处的像素数据。

【技术特征摘要】
【国外来华专利技术】2015.09.02 US 62/213,2491.一种视频数据的运动补偿方法，其特征在于，该方法包括：接收与当前图像中的当前块相关的输入数据；确定基于第一运动矢量的第一参考图像中的第一参考块和基于第二运动矢量的第二参考图像中的第二参考块，其中该第一参考图像和该第二参考图像是两个之前已编解码图像；推导出对应于该第一参考块的第一x方向梯度与该第二参考块的第二x方向梯度之间的该当前块的特定位置的x方向梯度差；推导出对应于该第一参考块的第一y方向梯度与该第二参考块的第二y方向梯度之间的该当前块的该特定位置的y方向梯度差；根据光流模型，确定x偏移值和y偏移值，其中该x偏移值和该y偏移值被选择以获得第一位置与第二位置之间的减少流差或者最小流差，且该第一位置和该第二位置是分别对应于该当前块的该特定位置的该第一参考块和该第二参考块中的两个位置；基于该第一参考块、该第二参考块、由该x偏移值所加权的该x方向梯度差和由该y偏移值所加权的该y方向梯度差，推导出对应于该特定位置的双向光流预测；以及使用对应于该特定位置的双向光流预测，编码或解码位于该当前块的该特定位置处的像素数据。2.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于该第一位置和该第二位置的两个x偏移值具有相同的x偏移值大小且符号相反，以及用于该第一位置和该第二位置的两个y偏移值具有相同的y偏移值大小且符号相反。3.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于该第一位置和该第二位置的两个x偏移值具有相同的x偏移值大小且符号相同，以及用于该第一位置和该第二位置的两个y偏移值具有相同的y偏移值大小且符号相同。4.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于该第一位置和该第二位置的两个x偏移值与该第一参考图像与该当前图像之间和该第二参考图像与该当前图像之间的两个相对时间距离成比例，以及用于该第一位置和该第二位置的两个y偏移值与该第一参考图像与该当前图像之间和该第二参考图像与该当前图像之间的两个相对时间距离成比例。5.一种视频数据的运动补偿装置，其特征在于，由视频编解码系统执行，该装置包括一个或多个电子电路或处理器，被配置为：接收与当前图像中的当前块相关的输入数据；确定基于第一运动矢量的第一参考图像中的第一参考块和基于第二运动矢量的第二参考图像中的第二参考块，其中该第一参考图像和该第二参考图像是两个之前已编解码图像；推导出对应于该第一参考块的第一x方向梯度与该第二参考块的第二x方向梯度之间的该当前块的特定位置的x方向梯度差；推导出对应于该第一参考块的第一y方向梯度与该第二参考块的第二y方向梯度之间的该当前块的该特定位置的y方向梯度差；根据光流模型，确定x偏移值和y偏移值，其中该x偏移值和该y偏移值被选择以获得第一位置与第二位置之间的减少流差或者最小流差，且该第一位置和该第二位置是分别对应于该当前块的该特定位置的该第一参考块和该第二参考块中的两个位置；基于该第一参考块、该第二参考块、由该x偏移值所加权的该x方向梯度差和由该y偏移值所加权的该y方向梯度差，推导出对应于该特定位置的双向光流预测；以及使用对应于该特定位置的双向光流预测，编码或解码位于该当前块的该特定位置处的像素数据。6.如权利要求5中所述的视频数据的运动补偿装置，其特征在于，用于该第一位置和该第二位置的两个x偏移值具有相同的x偏移值大小且符号相反，以及用于该第一位置和该第二位置的两个y偏移值具有相同的y偏移值大小且符号相反。7.如权利要求5中所述的视频数据的运动补偿装置，其特征在于，用于该第一位置和该第二位置的两个x偏移值具有相同的x偏移值大小且符号相同，以及用于该第一位置和该第二位置的两个y偏移值具有相同的y偏移值大小且符号相同。8.如权利要求5中所述的视频数据的运动补偿装置，其特征在于，用于该第一位置和该第二位置的两个x偏移值与该第一参考图像与该当前图像之间和该第二参考图像与该当前图像之间的两个相对时间距离成比例，以及用于该第一位置和该第二位置的两个y偏移值与该第一参考图像与该当前图像之间和该第二参考图像与该当前图像之间的两个相对时间距离成比例。9.一种视频数据的运动补偿方法，其特征在于，该方法包括：接收与当前图像中的当前块相关的输入数据；确定基于第一运动矢量的第一参考图像中的第一参考块和基于第二运动矢量的第二参考图像中的第二参考块，其中该第一参考图像和该第二参考图像是两个之前已编解码图像；推导出对应于该第一参考块的第一x方向梯度与该第二参考块的第二x方向梯度之间的该当前块的特定位置的x方向梯度差；推导出对应于该第一参考块的第一y方向梯度与该第二参考块的第二y方向梯度之间的该当前块的该特定位置的y方向梯度差；根据光流模型，确定x偏移值和y偏移值，其中该x偏移值和该y偏移值被选择以获得第一位置与第二位置之间的减少流差或者最小流差，且该第一位置和该第二位置是分别对应于该当前块的该特定位置的该第一参考块和该第二参考块中的两个位置；基于该第一参考块、该第二参考块、由该x偏移值所加权的该x方向梯度差和由该y偏移值所加权的该y方向梯度差，推导出对应于该特定位置的双向光流预测；以及基于该第一运动矢量与该第二运动矢量的线性，或基于该当前块的块尺寸，使用或者不使用...

【专利技术属性】
技术研发人员：陈庆晔，庄子德，陈渏纹，孙域晨，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71