利用仿射运动补偿的视频编码方法与装置制造方法及图纸

技术编号:19077645 阅读:34 留言:0更新日期:2018-09-29 18:43
本发明专利技术提供一种具有仿射运动补偿的编码或解码方法的方法。该方法包括接收与当前图像中的当前块相关联的输入数据,以及如果当前块以仿射合并模式被编码或者将被编码,则导出当前块的第一仿射候选,第一仿射候选包括用于预测当前块的控制点处的运动向量的三个仿射运动向量。仿射运动向量从当前块的三个不同的相邻已编码块导出。如果选择第一仿射候选,则根据仿射运动向量导出仿射运动模型。此外,该方法包括根据仿射运动模型透过定位在参考图像中的参考块来对当前块进行编码或解码。如果当前块以仿射帧间模式被编码或者将被编码,则当前块被限制为在单向预测中被编码。

【技术实现步骤摘要】
【国外来华专利技术】利用仿射运动补偿的视频编码方法与装置交叉引用本专利技术主张在2016年3月1日提出的申请号为PCT/CN2016/075024、标题为“MethodsforAffineMotionCompensation”的专利申请的优先权。因此在全文中合并参考该专利申请案的申请标的。
本专利技术是有关于具有仿射运动补偿的图像和视频编码,特别是有关于对包括仿射模式的各种编码模式的视频编码系统提高编码效率或降低复杂度的技术。
技术介绍
在大多数编码标准中,以块为基础应用自适应编码和帧间/帧内预测。例如,高效率视频编码(HEVC)系统中用于视频编码的基本块单元称为编码单元(CU)。编码单元可以以最大编码单元(LCU)开始,也称为编码树单元(CTU)。一旦每个最大编码单元被递归地划分为叶编码单元,则根据预测类型和预测单元(PU)分区模式,每个叶编码单元进一步分为一个或多个预测单元。预测单元中的像素共享相同的预测参数。对于由帧间预测模式处理的当前块,可以使用块匹配来定位参考图片中的参考块。将两个块的位置之间的位移确定为当前块的运动向量(MV)。HEVC支持两种不同类型的帧间预测模式,一种是高级运动向量预测(advancedmotionvectorprediction,AMVP)模式,另一种是合并模式。当前块的运动向量由对应于与当前块的空间和时间相邻相关联的运动向量的运动向量预估器(motionvectorpredictor,MVP)预测。对MV和MVP之间的运动向量差值(motionvectordifference,MVD)以及MVP的索引进行编码和发送,以用于AMVP模式中编码的当前块。在B片中,使用语法元素inter_pred_idc来指示帧间预测方向。如果当前块在单向(uni-directional)预测中被编码,则使用一个MV来定位当前块的预估器,而如果当前块在双向(bi-directional)预测中被编码,则使用两个MV来定位预估器,因此两个MVD和两个MVP索引被发送以用于双向预测编码的块。在多个参考图像的情况下,语法元素ref_idx_10被发送,以指示使用列表0中的哪个参考图像,并且语法元素ref_idx_l1被发送以指示使用列表1中的哪个参考图像。在合并模式中,包含MV,参考图像索引和帧间预测方向的当前块的运动信息从合并候选列表中选择的最终合并候选的运动信息中继承。合并候选列表由当前块的空间和时间相邻块的运动信息构成,并且合并索引被发送以指示最终合并候选。HEVC中基于块的运动补偿假设预测单元内的所有像素透过共享相同的运动向量而遵循相同的平移运动模型;然而,平移运动模型不能捕捉移动物体的旋转,缩放和变形等复杂运动。在文献中引入的仿射变换模型提供了更精确的运动补偿预测,因为仿射变换模型能够描述二维块旋转以及二维变形以将矩形变换为平行四边形。该模型可以描述如下:x’=a*x+b*y+e,以及y’=c*x+d*y+f。(1)其中A(x,y)是所考虑的位置(x,y)处的原始像素,并且A'(x',y')是对于原始像素A(x,y)的参考图像中的位置(x',y')处的对应像素。在仿射变换模型中使用总共六个参数a,b,c,d,e,f,以及该仿射变换模型描述了六参数仿射预测中原始位置与参考位置之间的映像。对于每个原始像素A(x,y),该原始像素A(x,y)与其对应的参考像素A'(x'y')之间的运动向量(vx,vy)被导出为:vx=(1-a)*x-b*y-e,vy=(1-c)*x-d*y-f。(2)块中每个像素的运动向量(vx,vy)是位置相关的,并且可以根据其位置(x,y)由等式(2)中存在的仿射运动模型导出。图1A标出了根据仿射运动模型的运动补偿的示例,其中当前块102被映像到参考图片中的参考块104。当前块102的三个角像素110,112和114与参考块104的三个角像素之间的对应关系可以由图1A所示的三个箭头来确定。可以基于三个角像素的三个已知运动向量Mv0,Mv1,Mv2导出用于仿射运动模型的六个参数。三个角像素110,112和114也被称为当前块102的控制点。用于仿射运动模型的参数推导在本领域是已知的,并且这里省略细节。在文献中已经公开了仿射运动补偿的各种实施方式。例如,基于子块的仿射运动模型被应用于为每个子块而不是每个像素导出MV,以降低仿射运动补偿的复杂度。在李等人揭示的技术文件中(“AnAffineMotionCompensationFrameworkforHighEfficiencyVideoCoding”,2015IEEEInternationalSymposiumonCircuitsandSystems(ISCAS),2015年5月,页数:525-528),当当前块以合并模式或AMVP模式编码时,针对每个2Nx2N块分区发出仿射标志以指示仿射运动补偿的使用。如果该标志为真,则当前块的运动向量的推导遵循仿射运动模型,否则当前块的运动向量的推导遵循传统的平移运动模型。当使用仿射帧间模式(也称为仿射AMVP模式或AMVP仿射模式)时,三个角像素的三个运动向量被发送。在每个控制点位置,透过发送控制点的运动向量差值,运动向量被进行预测编码。在另一示例性实现中,当当前块在合并模式下被编码时,仿射标志根据合并候选条件地被发送。仿射标志指示当前块是否以仿射合并模式进行编码。当至少有一个合并候选被进行仿射编码时,仿射标志才会被发送,如果仿射标志为真,则选择第一可用仿射编码的合并候选。四参数仿射预测是六参数仿射预测的替代,其具有两个控制点而不是三个控制点。图1B中示出了四参数仿射预测的示例。两个控制点130和132位于当前块122的左上角和右上角,并且运动向量Mv0和Mv1将当前块122映像到参考图片中的参考块124。
技术实现思路
本专利技术揭示了一种用于在视频编码系统中用仿射运动补偿进行视频编码和解码的方法和装置。根据本专利技术的视频编码器或解码器的实施例,接收与当前图像中的当前块相关联的输入数据,并且如果当前块以仿射合并模式被编码或者将被编码,则导出当前块的第一仿射候选。在视频编码器侧,与当前块相关联的输入数据包括一组像素,或者在解码器侧,与当前块相关联的输入数据是对应于包括当前块的已压缩数据的视频比特。第一仿射候选包括三个仿射运动向量Mv0,Mv1和Mv2,用于预测当前块的控制点处的运动向量。Mv0从当前块的第一相邻已编码块的运动向量导出,Mv1从当前块的第二相邻已编码块的运动向量导出,Mv2从当前块的第三相邻已编码块的运动向量导出。如果选择第一仿射候选来编码或解码当前块,则根据第一仿射候选的仿射运动向量Mv0,Mv1和Mv2,导出仿射运动模型。根据仿射运动模型透过定位用于当前块的参考图像中参考块来对当前块进行编码或解码。在一个实施例中,三个相邻已编码块是与当前块相邻的左上角子块,当前块上方的上右子块和当前块旁边的左下子块块。在另一个实施例中,仿射运动向量Mv0,Mv1和Mv2中的每一个是从相邻已编码块的预定的运动向量组中选择的第一可用运动向量。例如,Mv0是与当前块相邻的左上角子块处,当前块上方的上左子块处和当前块旁边的左上子块处的运动向量的第一可用运动向量。Mv1是当前块上方的上右子块处和与当前块相邻的右上角子本文档来自技高网
...

【技术保护点】
1.一种在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,包括:接收与当前图像中的当前块相关联的输入数据;如果该当前块以仿射合并模式被编码或将被编码,则导出包括三个仿射运动向量Mv0,Mv1和Mv2的该当前块的第一仿射合并候选,用于在该当前块的多个控制点处预测多个运动向量,其中Mv0自该当前块的第一相邻已编码块的运动向量而被导出,Mv1自该当前块的第二相邻已编码块的运动向量而被导出,并且Mv2自该当前块的第三相邻已编码块的运动向量而被导出;如果该第一仿射合并候选被选择以编码或解码该当前块,则根据该第一仿射合并候选的该仿射运动向量Mv0,Mv1和Mv2导出仿射运动模型;以及根据该仿射运动模型透过定位该当前块的参考图像中参考块来对该当前块进行编码或解码。

【技术特征摘要】
【国外来华专利技术】2016.03.01 CN PCT/CN2016/0750241.一种在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,包括:接收与当前图像中的当前块相关联的输入数据;如果该当前块以仿射合并模式被编码或将被编码,则导出包括三个仿射运动向量Mv0,Mv1和Mv2的该当前块的第一仿射合并候选,用于在该当前块的多个控制点处预测多个运动向量,其中Mv0自该当前块的第一相邻已编码块的运动向量而被导出,Mv1自该当前块的第二相邻已编码块的运动向量而被导出,并且Mv2自该当前块的第三相邻已编码块的运动向量而被导出;如果该第一仿射合并候选被选择以编码或解码该当前块,则根据该第一仿射合并候选的该仿射运动向量Mv0,Mv1和Mv2导出仿射运动模型;以及根据该仿射运动模型透过定位该当前块的参考图像中参考块来对该当前块进行编码或解码。2.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,该第一相邻已编码块是与该当前块相邻的左上角子块,该第二相邻已编码块是该当前块上方的上右子块,并且该第三相邻已编码块是该当前块旁边的左下子块。3.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,Mv0是与该当前块相邻的左上角子块处,该当前块上方的上左子块处,以及该当前块旁边的左上子块处的多个运动向量的第一可用运动向量;Mv1是与该当前块上方的上右子块处,该当前块相邻的右上角子块处的多个运动向量的第一可用运动向量;Mv2是与该当前块旁边的左下子块处,该当前块相邻的左下角子块处的多个运动向量的第一可用运动向量。4.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,还包括导出包括三个仿射运动向量的第二仿射合并候选,并且如果该第二仿射合并候选被选择来对该当前块进行编码或解码,则根据该第二仿射合并候选的仿射运动向量导出该仿射运动模型,其中该第二仿射合并候选中的至少一个仿射运动向量与该第一仿射合并候选中的相应仿射运动向量不同。5.根据权利要求4所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,该第一仿射合并候选和该第二仿射合并候选具有相同的多个第一仿射运动向量和多个第二仿射运动向量,该第一仿射合并候选中的第三仿射运动向量是该当前块旁边的左下子块处的运动向量,以及该第二仿射合并候选中的第三仿射运动向量是该当前块相邻的左下角子块处的运动向量。6.根据权利要求4所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,该第一仿射合并候选和该第二仿射合并候选具有相同的多个第一和多个第三仿射运动向量,该第一仿射合并候选中的第二仿射运动向量是该当前块上方的上右子块处的运动向量,以及该第二仿射合并候选中的第二仿射运动向量是该当前块相邻的右上角子块处的运动向量。7.根据权利要求4所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,该第一仿射合并候选者和该第二仿射合并候选具有相同的第一仿射运动向量,该第一仿射合并候选中的第二仿射运动向量是该当前块上方的右上子块处的运动向量,该第二仿射合并候选中的第二仿射运动向量是该当前块相邻的右上角子块处的运动向量,以及该第一仿射合并候选中的第三仿射运动向量是该当前块旁边的左下子块处的运动向量,以及该第二仿射合并候选中的第三仿射运动向量是该当前块相邻的左下角子块处的运动向量。8.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,如果该三个仿射运动向量Mv0,Mv1和Mv2的帧间预测方向或参考图像不完全相同,则该第一仿射合并候选者被表示为不存在。9.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,如果所有该三个仿射运动向量Mv0,Mv1和Mv2仅在该第一参考列表中可用,则该第一仿射合并候选的帧间预测方向是单向预测,并且仅使用第一参考列表,该第一个参考列表从列表0和列表1中选择。10.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,还包括如果该三个仿射运动向量的参考图片不全都相同,则将该第一仿射合并候选中的该仿射运动向量Mv0,Mv1和Mv2缩放到指定的参考图像。11.根据权利要求1所述的在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,还包括缩放该第一仿射合并候选中的该三个仿射运动向量中的一个,以将该第一仿射合并候选中的该三个仿射运动向量的所有参考图像设置为相同。12.一种在视频编码系统中用仿射运动补偿处理视频数据的方法,其特征在于,包括:接收与当前图像中的当前块相关联的输入数据;如果该当前块以仿射帧间模式被编码或将被编码,则导出包括多个仿射运动向量的该当前块的仿射合并候选,用于在该当前块的多个控制点处预测多个运动向量,其中该多个仿射运动向量从一个或多个相邻已编码块而被导出;如果该仿射候选被选择来编码或解码该当前块,则根据该仿射候选的该多个仿射运动向量导出仿射运动模型;以及根据该仿射运动模型透过将定位在当前参考图像中的参考块来对该当前块进行编码或解码,其中该当前参考图像由参考图像索引指出;其中如果该当前块以仿射帧间模式而被编码或者将被编码,该当...

【专利技术属性】
技术研发人员:黄晗张凯安基程
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1