具有仿射运动补偿的视频编解码的方法及装置制造方法及图纸

本发明专利技术供开了具有仿射运动补偿的视频编码以及解码的方法及装置。所述方法的一实施例接收与在仿射模式中进行编码或将要进行编码的当前块有关的输入数据。从缓冲器中检索相邻块的两个或多个运动向量，其中至少一个已检索的运动向量不对应于第一相邻块行或第一相邻块列的子块。所述方法使用已检索的两个或多个运动向量导出包括多个仿射运动向量的仿射候选，以及通过使用由已导出的仿射候选的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码。用于仿射候选导出的缓冲器存储少于所述当前图像中已编码块的所有运动向量的选择运动向量。

【技术实现步骤摘要】
【国外来华专利技术】具有仿射运动补偿的视频编解码的方法及装置相关引用本专利技术要求递交于2016年3月15日，号码为PCT/CN2016/076360，标题为“AffinePredictionforVideoCoding”的PCT专利申请以及递交于2016年12月22日，号码为US62/437,757，标题为“AffinePredictionBufferManagementforVideoCoding”的美国临时专利申请案的优先权。所述PCT专利申请以及美国临时专利申请整体通过引用纳入其中。
本专利技术涉及具有仿射运动补偿(affinemotioncompensation)的视频编解码，特别地，本专利技术涉及用于实施仿射运动补偿的视频编解码系统的缓冲器管理以及来启用用于仿射运动管理的适应性运动向量分辨率的技术。
技术介绍
在编码以及解码过程中，视频数据需要大的存储空间来缓冲中间数据(intermediatedata)。随着越来越高的分辨率与越来越高的帧率，以及开发了更有力的编解码技术来实现更好的编解码性能，用于视频编码器以及视频解码器的存储需求显著地增长。最近开发的一个编解码技术是仿射运动预测以及补偿，其有效地追踪更复杂的运动，例如旋转、缩放以及运动对象的变形(deformation)。应用于最近开发的编解码标准，如高效视频编解码(HEVC)的帧间运动预测方法仅考虑二维(two-deimensional，2D)平移运动，其中兴趣区域中的所有像素遵循相同的运动方向以及幅度(magnitude)。仿射运动预测可根据四参数仿射模型(four-parameteraffinemodel)描述2D块旋转以及缩放。仿射运动预测也可以根据将正方形或矩形变换为平行四边形的六参数仿射模型来捕获2D变形。文献中提出的仿射运动预测有两种主要模式，包括仿射合并模式(affineMergemode)以及仿射帧间模式(affineIntermode)。仿射合并模式允许从空间相邻块继承仿射运动信息，然而仿射帧间模式通过组合空间相邻块的运动信息来构造若干最可能的候选。仿射帧间模式也被称作仿射高级运动向量预测(advancemotionvectorprediction，AMVP)模式。沿着时间轴穿过图像的运动可由如等式(1)所示的四参数仿射运动模型来描述。假设A(x,y)是所考虑的位于位置(x,y)的原始像素，且A’(x’,y’)是用于原始像素A(x,y)的参考图像的位置(x’,y’)的对应的参考像素。x’＝a0*x+a1*y+a2,以及y’＝-a1*x+a0*y+a3.(1)其中，a0、a1、a2以及a3为四参数仿射运动模型中的四个参数。在仿射模式中编码的块内的此原始像素A(x，y)与对应参考像素A’(x’,y’)之间的运动向量(vx,vy)可被描述为：vx＝(1–a0)*x–a1*y–a2,以及vy＝(1–a0)*y+a1*x–a3.(2)图1A示出了示例性四参数仿射运动模型。两个角落像素110以及112位于当前块102的左上角以及右上角，且在四参数仿射运动模型中，这两个角落像素也被称为当前块102的控制点。两个控制点110以及112的运动向量Mv0以及Mv1将当前块102映像到参考图像中的参考块104。根据等式(3)，基于控制点110以及112的运动向量Mv0以及Mv1，可以导出当前块102中的每个像素A(x,y)的运动向量场。其中，(v0x,v0y)表示左上角110的运动向量Mv0，(v1x,v1y)表示右上角112的运动向量Mv1，且w表示当前块的宽度。对于基于块的仿射运动补偿，当两个控制点的运动向量Mv0以及Mv1被解码时，可根据等式(3)来确定当前块102的每个4x4块的运动向量。换句话说，用于当前块102的四参数仿射运动模型可由在两个控制点的两个运动向量Mv0以及Mv1来指定。此外，当块的左上角以及右上角被用作两个控制点时，其它两个控制点也可被使用六参数仿射运动模型可由等式(4)来描述。于此模型中，总共使用了六个参数a0、a1、a2、b0、b1以及b2以及三个控制点。对于每个像素A(x,y)，此像素A(x,y)以及其对应参考像素A’(x’,y’)之间的运动向量(vx,vy)如等式(5)所示。x’＝a0+a1*x+a2*y,以及y’＝b0+b1*x+b2*y(4)vx＝(a1-1)*x+a2*y+a0,以及vy＝(b2-1)*y+b1*x+b0(5)由六参数仿射运动模型预测的每个像素的运动向量也是位置相关的。图1B所示为根据六参数仿射运动模型的仿射运动补偿的示例，其中，当前块122被映像到参考图像中的参考块124。当前块122的三个角落像素130、132、以及134以及参考块124的三个角落像素之间的对应关系可由如图1B所示的三个箭头来确定。用于仿射运动模型的六个参数可基于当前块122的左上、右上、以及左下控制点的三个已知运动向量Mv0、Mv1、Mv2来导出。用于仿射运动模型的参数导出在本领域中是公知的，在此不再赘述。已经讨论了仿射帧间模式以及仿射合并模式的各种实施方式，例如，仿射旗标(affineflag)被用于指示是否应用仿射帧间模式，且当CU等于或大于16×16时，此仿射旗标被发信以用于每个帧间编码的编码单元(codingunit，CU)。如果当前CU被编码或将被编码于仿射帧间模式，则使用有效的相邻已编码块来为当前CU构造候选运动向量预测子(motionvectorpredictor，MVP)对(pair)列表。图2所示为在仿射帧间模式或仿射合并模式中编码的当前块20的候选MVP对导出的示例。如图2所示，用于当前块20的左上控制点的运动向量Mv0的MVP是从左上相邻已编码块A0、A1、或A2的运动向量中选择；以及用于当前块20的右上控制点的运动向量Mv1的MVP是从右上相邻已编码块B0以及B1的运动向量中选择。在视频比特流中发信用于候选MVP对列表的MVP索引，且在视频比特流中对两个控制点的运动向量差(motionvectordifference，MVD)进行编码。对于在合并模式中编码的当前块20，图2中的5个相邻已编码子块C0(被称为左底部块)、B0(被称为右上块)、B1(被称为右上角块)、C1(被称为左下角块)、以及A0(被称为左上角块)被依次地检查以决定相邻已编码子块中的任何一个是否编码于仿射帧间模式或仿射合并模式。在此示例中，当前块20为预测单元(predictionunit，PU)。只有在相邻已编码子块中的任何一个在仿射帧间模式或仿射合并模式中进行编码时，仿射旗标被发信来指示是否在仿射合并模式中对当前块20进行编码。当根据仿射合并模式对当前块20进行编码或解码时，第一可用的仿射已编码相邻块(affine-codedneighboringblock)是通过从5个相邻已编码子块中选择来决定的。包括已选择的相邻编码子块的第一可用的仿射已编码相邻块被用于导出仿射合并候选。仿射合并候选被用于导出当前块的参考图像中的预测子。如图2所示，用于选择相邻已编码子块中的一个的选择顺序是从左底部块、右上块、右上角块、左下角块、到左上角块(C0→B0→B1→C1→A0)。用于当前块20的仿射合并候选是从第一可用的仿射已编码相邻块的控制点的MV导本文档来自技高网...

【技术保护点】
1.一种具有仿射运动补偿的视频编解码的方法，用于视频编解码系统中，其特征在于，所述方法包括：在视频编码器接收与当前图像中当前块有关的输入数据或者在视频解码器接收对应于包括所述当前图像中所述当前块的压缩数据的视频比特流，其中，根据仿射运动模型，所述当前块在仿射模式中被编解码或将要被编解码；从时间缓冲器中检索相邻块的两个或多个运动向量用于所述当前块，其中至少一个已检索的运动向量不对应于第一相邻N×N块行或者第一相邻N×N块列中的子块，所述第一相邻N×N块行最接近所述当前块的上边界，所述第一相邻N×N块列最接近于所述当前块的左边界，其中所述时间缓冲器存储少于所述当前图像中先前已编码块的所有运动向量的选择运动向量，以及N×N是在所述时间缓冲器中存储一个运动向量的块尺寸；使用所述相邻块的已检索的两个或更多个运动向量导出包括多个仿射运动向量的仿射候选；以及通过使用由已导出的仿射候选的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码，其中所述多个仿射运动向量预测所述当前块的点与所述一个或多个运动补偿块的对应点之间的运动。

【技术特征摘要】
【国外来华专利技术】2016.12.22 US 62/437,757;2016.03.15 CN PCT/CN2016/1.一种具有仿射运动补偿的视频编解码的方法，用于视频编解码系统中，其特征在于，所述方法包括：在视频编码器接收与当前图像中当前块有关的输入数据或者在视频解码器接收对应于包括所述当前图像中所述当前块的压缩数据的视频比特流，其中，根据仿射运动模型，所述当前块在仿射模式中被编解码或将要被编解码；从时间缓冲器中检索相邻块的两个或多个运动向量用于所述当前块，其中至少一个已检索的运动向量不对应于第一相邻N×N块行或者第一相邻N×N块列中的子块，所述第一相邻N×N块行最接近所述当前块的上边界，所述第一相邻N×N块列最接近于所述当前块的左边界，其中所述时间缓冲器存储少于所述当前图像中先前已编码块的所有运动向量的选择运动向量，以及N×N是在所述时间缓冲器中存储一个运动向量的块尺寸；使用所述相邻块的已检索的两个或更多个运动向量导出包括多个仿射运动向量的仿射候选；以及通过使用由已导出的仿射候选的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码，其中所述多个仿射运动向量预测所述当前块的点与所述一个或多个运动补偿块的对应点之间的运动。2.如权利要求1所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述时间缓冲器存储2个N×N块行以及2个N×N块列的运动向量，以及所述2个N×N块行包括最接近于所述当前块的所述上边界的所述第一相邻N×N块行以及第二相邻N×N块行，以及所述2个N×N块列包括最接近于所述当前块的所述左边界的所述第一相邻N×N块列以及第二相邻N×N块列。3.如权利要求2所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述已检索的两个或多个运动向量包括第一以及第二运动向量，如果所述相邻块在所述当前块的上方或者邻近于所述当前块的左上角，所第一运动向量是替代所述相邻块的左上角的原始运动向量的替代运动向量以及所述第二运动向量是替代所述相邻块的右上角的原始运动向量的替代运动向量，其中如果所述相邻块在所述当前块的左侧，所述第一运动向量是替代所述相邻块的左上角的原始运动向量的替代运动向量以及所述第二运动向量是在所述相邻块的右上角的原始运动向量。4.如权利要求2所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述已检索的两个或多个运动向量包括所述相邻块中第一以及第二子块的第一以及第二运动向量，所述导出所述仿射候选进一步包括：使用所述第一以及第二运动向量、与所述当前图像有关的所述当前块的像素位置、与所述当前图像有关的所述第一子块的像素位置以及所述相邻块的宽度，导出所述多个仿射运动向量的第一仿射运动向量；使用所述第一以及第二运动向量、所述相邻块的所述宽度以及所述当前块的宽度，导出第二仿射运动向量。5.如权利要求2所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述已检索的两个或多个运动向量包括所述相邻块中第一、第二以及第三子块的第一、第二以及第三运动向量，其中导出所述仿射候选进一步包括：使用所述第一、第二以及第三运动向量中的至少两个、与所述当前图像有关的所述当前块的像素位置、与所述当前图像有关的所述第一子块的像素位置以及所述相邻块的宽度，导出所述多个仿射运动向量的第一仿射运动向量；使用所述第一以及第二运动向量、所述相邻块的所述宽度以及所述当前块的宽度，导出第二仿射运动向量；以及使用所述相邻块的高度与所述当前块的高度中的至少一个以及所述第一、第三运动向量，导出第三仿射运动向量。6.如权利要求2所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述已检索的两个或多个运动向量包括第一、第二以及第三运动向量，如果所述相邻块在所述当前块上方，所述第一运动向量是替代所述相邻块的左上角的原始运动向量的替代运动向量，所述第二运动向量是替代所述相邻块右上角的原始运动向量的替代运动向量，以及所述第三运动向量是所述相邻块左下角的原始运动向量；其中如果所述相邻块邻近于所述当前块的左上角，所述第一运动向量是替代所述相邻块的左上角的原始运动向量的替代运动向量，所述第二运动向量是替代所述相邻块的右上角的原始运动向量的替代运动向量，以及所述第三运动向量是替代所述相邻块左下角原始运动向量的替代运动向量；以及其中如果所述相邻块在所述当前块的左侧，所述第一运动向量是替代所述相邻块左上角的原始运动向量的替代运动向量，所述第二运动向量是所述相邻块的右上角的原始运动向量，以及所述第三运动向量是替代所述相邻块的左下角的原始运动向量的替代运动向量。7.如权利要求1所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中根据具有两个控制点的四参数仿射运动模型或者具有三个控制点的六参数仿射运动模型，由所述仿射候选中所述多个仿射运动向量的所述一个或多个运动补偿块预测所述当前块。8.如权利要求1所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述时间缓冲器存储在所述当前块上方的M个N×N块行，以及M小于最大编码单元高度除以N。9.如权利要求1所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述时间缓冲器存储在所述当前块左侧的K个N×N块列，以及K等于最大编码单元宽度除以N。10.如权利要求1所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述已推导的两个或更多个运动向量是所述相邻块两个或更多个控制点的原始运动向量。11.如权利要求1所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述相邻块的所述控制点包括所述相邻块的左上角、右上角、右下角以及左下角中的至少两个。12.如权利要求10所述的视频编解码系统中具有仿射运动补偿的视频编解码的方法，其特征在于，其中所述时间缓冲器存储第一相邻N×N块行、第一相邻N×N块列、顶N×N块行集合以及最左N×N块列集合的原始运动向量，其中所述第一相邻N×N块行是最接近于所述当前块所述上边界的至少一个上方相邻块中的最后一行，所述第一相邻N×N块列是最接近与所述当前块的所述左边界的至少一个左相邻块中的最后一列，所述顶N×N块行集合包括所述至少一个上方相邻块的第一行，以及所述最左N×N块列集合包括所述至少一个左相邻块的第一列。13.一种具...

【专利技术属性】
技术研发人员：庄子德，陈庆晔，黄晗，许晓中，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71