视频编解码系统中全局运动补偿的方法及装置制造方法及图纸

本发明专利技术公开了一种在视频编码器侧或视频解码器侧执行视频编解码帧间预测的方法以及装置。在一个方法中，在所述视频编码器侧发信GMC指示或者在所述视频解码器侧解析来自视频比特流的所述GMC指示，GMC(全局运动补偿)指示指出全局运动补偿是否是启用。如果所述GMC指示指出GMC是启用的，使用包括GMC模式的一个或多个编解码模式对当前处理单元进行编码或解码。根据另一方法，如果GMC对于区域是启用的，决定数目用于使用多个全局运动模型的区域中的多个处理单元进行编码或解码，所述数目表示所允许的所述多个全局运动模型的总数目。在又一个方法中，选择性地或者以组合的方式应用GMC以及局部运动补偿。

Method and device for global motion compensation in video codec system

The invention discloses a method and device for performing inter frame prediction of video codec on the side of video encoder or on the side of video decoder. In one method, the GMC (global motion compensation) indicates that the global motion compensation is enabled at the video encoder side on the side of the video encoder to indicate or to parse the GMC instructions from the video bit stream at the video decoder side. The GMC (global motion compensation) indicates that the global motion compensation is on. If the GMC instruction indicates that GMC is enabled, the current processing unit is encoded or decoded using one or more codec modes including the GMC mode. According to another method, if the GMC is enabled for the region, the number of processing units in the area of the multiple global motion model is coded or decode, and the number represents the total number of the permitted multiple global motion models. In another way, GMC is applied selectively or in combination, and local motion compensation is applied.

【技术实现步骤摘要】
【国外来华专利技术】视频编解码系统中全局运动补偿的方法及装置相关引用本专利技术要求提交于2015年11月20日的，号码为62/257,754的美国临时专利申请案的优先权，该美国临时专利申请案整体通过引用纳入其中。
本专利技术涉及使用运动估计和运动补偿的视频编解码，特别地，本专利技术涉及用于视频压缩的全局运动补偿(globalmotioncompensation)。
技术介绍
在过去二十年已经开发了各种视频编解码标准，在新的编解码标准中，使用了更强大的编解码工具去提高编解码的效率。高效视频编码(HEVC)是近些年发展起来的新的编解码标准，在高效视频编码(HEVC)系统中，H.264/AVC中的固定尺寸的宏块(macroblock)被灵活的块所替代，称为编码单元(codingunit，CU)。CU中的像素共享相同的编解码参数以提到编解码效率，一个CU可能开始于最大的CU(LCU)，其在HEVC中也称为编码树单元(codedtreeunit，CTU)。除了编码单元的概念，HEVC中还引入了预测单元(predictionunit，PU)的概念。一旦完成CU分层树(hierarchicaltree)的拆分，根据预测类型以及PU分割(PUpartition)，每一叶CU(leafCU)被进一步拆分成一个或多个预测单元。在大多数编解码标准中，在块的基础上使用自适应帧间/帧内预测，在帧间预测模式中，确定一个或两个运动向量用于每一块来选择一个参考块(也就是单向预测)或者两个参考块(也就是双向预测)，为每个单独的块确定以及编码一个或多个运动向量。对于某些图像，例如在相机摇镜头(camerapan)下捕获的这些图像，整个图像或部分图像进行相同的运动(也就是平移的全局运动(translationalglobalmotion))。因此，全局运动补偿(GMC)已经用于一些编解码标准中，在下文中，简单的介绍了一些已知的GMC技术。为了描述全局运动，本领域中已经广泛的使用了各种全局运动模型(globalmotionmodel)来描述沿时间轴(temporalaxis)的图像的运动。假定A(x,y)是在考虑的位置处(x,y)的原始像素，A’(x’,y’)是当前像素A(x,y)的在参考图像中位置(x’,y’)的对应的像素，所描述的一些典型的运动模型如下。平移模型最简单的平移模型是2-D平移运动，其中兴趣区域(areaofinterest)中的所有像素沿着相同的运动方向以及强度(magnitude)，这一模型可以被描述如下，其中a0是水平方向上的运动以及b0是垂直方向上的运动。x’＝a0+x,以及y’＝b0+y.(1)在这一模型中，要确定两个参数(也就是a0和b0)。方程式(1)适用于兴趣区域中的所有像素，因此，这一区域中用于像素A(x,y)以及对应的像素A’(x’,y’)的运动向量是(a0,b0)。图1示出了根据该平移模型的全局运动补偿的示例，其中当前区域110被映射到参考图像中的参考区域120。当前区域的四个角落像素和参考区域的四个角落像素之间的对应关系由四个箭头所指示。缩放模型缩放模型除了在水平以及垂直方向上的运动以外还包括缩放效应(scalingeffect)，该模型可以被描述如下：x’＝a0+a1*x,以及y’＝b0+b1*y(2)根据这一模型，总共使用了四个参数，包括比例因子(scalingfactor)a1和b1以及平移运动值a0和b0。对于兴趣区域中的每一像素A(x,y)，用于这一像素以及它对应的参考像素A’(x’,y’)的运动向量是(a0+(a1-1)*x,b0+(b1-1)*y)。因此，用于每一像素的运动向量是位置相关的。图2示出了根据该缩放模型的全局运动补偿的示例，其中当前区域210被映射到参考图像中的参考区域220。当前区域的四个角落像素和参考区域的四个角落像素之间的对应关系由四个箭头所指示。仿射模型仿射模型(affinemodel)能够描述二维块旋转以及二维变形来将正方形(或矩形)转换成为平行四边形(parallelogram)。该模型可以描述如下：x’＝a0+a1*x+a2*y,以及y’＝b0+b1*x+b2*y(3)在这一模型中，总共使用了6个参数。对于兴趣区域中的每一像素A(x,y)，这一像素与它对应的参考像素A’(x’,y’)之间的运动向量是(a0+(a1-1)*x+a2*y,b0+b1*x+(b2-1)*y)，因此，用于每一像素的运动向量也是位置相关的。图3示出了根据该仿射模型的全局运动补偿的示例，其中当前区域310被映射到参考图像中的参考区域320。仿射转换可以将任何三角形映射成任何三角形，换句话说，如图3所示，当前区域的三个角落像素以及参考区域的三个角落像素之间的对应关系可以由三个箭头决定。在这种情况下，用于第四个角落像素的运动向量可以根据其他三个运动向量导出而不是独立于其他三个运动向量导出。用于该仿射模型的6个参数可以基于用于三个不同位置的三个已知的运动向量导出，该仿射模型的参数导出在本领域是公知的，在此不再赘述。透视模型(perspectivemodel)透视运动模型可以用于描述相机运动，例如变焦、摇镜头(pan)以及倾斜(tilt)之类的相机运动。这一模型可以描述如下：x’＝(a0+a1*x+a2*y)/(1+c1*x+c2*y),以及y’＝(b0+b1*x+b2*y)/(1+c1*x+c2*y)(4)在这一模型中，使用了8个参数，对于兴趣区域中的每一像素A(x,y)，用于这种情况的运动向量可以由对应的A’(x’,y’)以及A(x,y)决定，也就是(x’-x,y’-y)。因此，用于每一像素的运动向量是位置相关的。通常，一个N-参数模型可以通过将M个像素对A和A’作为输入来求解，实际上，可以使用M个像素对，其中M>N。例如，在仿射模型中，参数集a＝(a0,a1,a2)以及b＝(b0,b1,b2)可以独立地求解。让C＝(1,1,1,…,1)，X＝(x0,x1,…,xM-1)，Y＝(y0,y1,…,YM-1)，U＝(x’0,x’1,000,x’M-1)以及V＝(y’0,y’1,…,y’M-1)，然后可以导出下列方程式：KaT＝U,以及KbT＝V(4)因此，参数集a可以根据a＝(KTK)-1(KTU)来求解以及参数集b可以根据b＝(KTK)-1(KTV)来求解，其中K＝(CT,XT,YT)、KTK常常是3×3的矩阵而不论M的大小。在由Li提出的技术论文中(L.Li,H.Li,Z.Lv以及H.Yang，“AnAffineMotionCompensationFrameworkforHighEfficiencyVideoCoding”，2015年5月，关于电路和系统的2015IEEE国际学术研讨会(ISCAS)，第525-528页)，导出以及发信在CU角落处的三个运动向量，其用于导出用于使用仿射运动模型(也就是6参数模型)的CU中所有像素的运动向量。需要提高在视频编码或解码系统中使用全局运动补偿的效率。
技术实现思路
本专利技术公开了一种在视频编码器或视频解码器执行视频编解码的帧间预测的方法以及装置。根据这一方法，在视频编码器侧发信GMC(全局运动补偿)指示或者在视频解码器侧解析来自视频比特流的所述GMC指示；所述GM本文档来自技高网...

【技术保护点】
1.一种在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，所述方法包括：在视频编码器侧接收与当前处理单元有关的输入数据或者在视频解码器侧接收视频比特流，所述视频比特流对应于包括所述当前处理单元的压缩数据，其中所述当前处理单元由来自视频数据的一组像素组成；在所述视频编码器侧发信全局运动补偿指示或者在所述视频解码器侧解析来自所述视频比特流的所述全局运动补偿指示，其中所述全局运动补偿指示指出全局运动补偿是否是启用的；以及如果所述全局运动补偿指示指出所述全局运动补偿是启用的，使用包括全局运动补偿模式的一个或多个编解码模式在所述视频编码器侧对所述当前处理单元进行编码或者在所述解码器侧对所述当前处理单元进行解码。

【技术特征摘要】
【国外来华专利技术】2015.11.20 US 62/257,7541.一种在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，所述方法包括：在视频编码器侧接收与当前处理单元有关的输入数据或者在视频解码器侧接收视频比特流，所述视频比特流对应于包括所述当前处理单元的压缩数据，其中所述当前处理单元由来自视频数据的一组像素组成；在所述视频编码器侧发信全局运动补偿指示或者在所述视频解码器侧解析来自所述视频比特流的所述全局运动补偿指示，其中所述全局运动补偿指示指出全局运动补偿是否是启用的；以及如果所述全局运动补偿指示指出所述全局运动补偿是启用的，使用包括全局运动补偿模式的一个或多个编解码模式在所述视频编码器侧对所述当前处理单元进行编码或者在所述解码器侧对所述当前处理单元进行解码。2.如权利要求1所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中所述当前处理单元对应于序列、图像、切片、方块、区域、编码块或者预测块。3.如权利要求1所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中在语法层级高于或者等于所述当前处理单元的层级的所述视频比特流中发信所述全局运动补偿指示。4.如权利要求3所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，在所述视频编码器侧发信用于所述视频比特流中当前处理单元的全局运动补偿使用旗标，或者在所述视频解码器侧解析用于来自所述视频比特流的所述当前处理单元的所述全局运动补偿使用旗标，其中所述全局运动补偿使用旗标指出所述全局运动补偿模式是否应用于与所述当前处理单元。5.如权利要求1所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，进一步包括如果所述全局运动补偿指示指出所述全局运动补偿是启用的，发信与用于所述全局运动补偿模式的全局运动模型有关的参数的总数目以及多个参数的值。6.如权利要求1所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，进一步包括如果所述全局运动补偿指示指出所述全局运动补偿是启用的，发信指示用于所述全局运动补偿模式的全局运动模型数量的旗标。7.如权利要求6所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，进一步包括发信指示所选择的全局运动模型的旗标，所述所选择的全局运动模型从用于所述当前处理单元的多个候选全局运动模型中选出。8.一种在视频编码器或视频解码器中执行视频编解码的帧间预测的装置，其特征在于，所述装置包括一个或多个电子电路或处理器用于：在视频编码器侧接收与当前处理单元有关的输入数据或者在视频解码器侧接收视频比特流，所述视频比特流对应于包括所述当前处理单元的压缩数据，其中所述当前处理单元由来自视频数据的一组像素组成；在所述视频编码器侧发信全局运动补偿指示或者在所述视频解码器侧解析来自所述视频比特流的所述全局运动补偿指示，其中所述全局运动补偿指示指出全局运动补偿是否是启用的；以及如果所述全局运动补偿指示指出所述全局运动补偿是启用的，使用包括全局运动补偿模式的一个或多个编解码模式在所述视频编码器侧对所述当前处理单元进行编码或者在所述解码器侧对所述当前处理单元进行解码。9.一种在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，所述方法包括：在视频编码器侧接收与区域中当前处理单元有关的输入数据或者在视频解码器侧接收视频比特流，所述视频比特流对应于包括所述区域中所述当前处理单元的压缩数据，其中所述当前处理单元由来自视频数据的一组像素组成；如果全局运动补偿模式对于所述区域是启用的：决定第一数目，所述第一数目表示用于在所述视频编码器侧使用多个全局运动模型对所述区域中的多个处理单元进行编码或者在所述视频解码器侧使用所述多个全局运动模型对所述区域中的所述多个处理单元进行解码所允许的所述多个全局运动模型的总数目；以及使用一个或多个编解码模式在所述视频编码器侧对所述当前处理单元进行编码或者在所述视频解码器侧对所述当前处理单元进行解码，所述一个或多个编解码模式包括具有从所述多个全局运动模型中选择的一个全局运动模型的所述全局运动补偿模式。10.如权利要求9所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中表示每一所述多个全局运动模型的参数的总数目的第二数目可以包括于所述视频比特流中。11.如权利要求9所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中用于每一所述多个全局运动模型的运动类型包括于与所述区域有关的高层级语法的所述视频比特流中，其中所述运动类型被映射到对应的用于每一所述多个全局运动模型的参数的总数目。12.如权利要求11所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中使用可变长度编码对所述运动类型进行二进制化。13.如权利要求11所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中由与先前编码区域有关的给定全局运动模型的另一个运动类型预测性地对所述给定全局运动模型的所述运动类型进行编码。14.如权利要求13所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中所述先前编码区域对应于左边区域、上方区域或者时间同位区域。15.如权利要求13所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中旗标用于去指示是否由与所述先前编码区域有关的所述给定全局运动模型的所述另一个运动类型精确地预测所述给定全局运动模型的所述运动类型。16.如权利要求9所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中在所述视频编码器侧，在与所述区域相关的高层级语法的所述视频比特流中发信每一所述多个全局运动模型的多个参数，或者在所述视频解码器侧，解析来自所述高层级语法的所述视频流的所述多个参数。17.如权利要求16所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中所述高层级语法对应于序列参数集、图像参数集、切片数据头、区域或者块。18.如权利要求17所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中所述当前处理单元对应于编码树单元、编码块或者预测块。19.如权利要求16所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中使用与先前编码区域相关的给定全局运动模型的其他参数在所述高层级语法中预测性地发信所述给定全局运动模型的所述多个参数。20.如权利要求19所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，其中所述先前编码区域对应于左边区域、上方区域或者时间同位区域。21.如权利要求20所述的在视频编码器或视频解码器中执行视频编解码的帧间预测的方法，其特征在于，使用旗标来指示是否由与所述先前编码区域有关的所述给定全局运动模型的所述其他参数精确地预测所述给定全局运动模型的所述多...

【专利技术属性】
技术研发人员：刘杉，许晓中，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71