利用自动运动信息细化的视频译码的方法和装置制造方法及图纸

在特定实现方式中，视频解码器可以细化对于当前块从比特流解码的初始运动矢量预测器。为了减少信令开销，解码器可以基于已经可用的信息，例如，基于运动场是否在当前块周围均匀，以及在相邻块中是否存在某个级别的纹理性，来确定是否使用运动细化。从比特流解码的运动矢量差可以用于自动激活或停用运动细化而不在比特流中接收显式信令。例如，在运动矢量差小于阈值时，自动激活运动细化，并且在运动矢量差大于另一阈值时，自动停用运动细化。对应的视频编码器可以基于编码器判定来选择是否使用和以信号通知运动细化。

Method and Device of Video Decoding Using Automated Motion Information Refinement

In a particular implementation, the video decoder can refine the initial motion vector predictor for the current block decoding from the bit stream. To reduce signaling overhead, the decoder can determine whether motion thinning is used based on available information, such as whether the motion field is uniform around the current block and whether there is a certain level of texture in adjacent blocks. The motion vector difference decoded from the bit stream can be used to automatically activate or deactivate motion refinement without receiving explicit signaling in the bit stream. For example, when the difference of motion vectors is less than the threshold, motion thinning is automatically activated, and when the difference of motion vectors is greater than another threshold, motion thinning is automatically stopped. The corresponding video encoder can select whether to use and signal motion refinement based on the encoder decision.

【技术实现步骤摘要】
【国外来华专利技术】利用自动运动信息细化的视频译码的方法和装置
本原理通常涉及视频编码和解码的方法和装置，并且更具体地涉及利用运动信息细化(refinement)的视频编码和解码的方法和装置。
技术介绍
为了实现高压缩效率，图像和视频译码方案通常采用预测和变换来影响(leverage)视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来开发帧内或帧间相关，然后对原始图像与预测图像之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵译码。为了重建视频，通过与预测、变换、量化和熵译码相对应的逆处理来对压缩数据进行解码。
技术实现思路
根据总体方面，呈现了一种视频解码的方法，包括：访问视频的当前块的初始运动矢量预测器，初始运动矢量预测器与第一运动分辨率相关联；基于运动矢量差来确定是否细化初始运动矢量预测器；以及如果确定初始运动矢量预测器要被细化，则基于运动搜索来细化初始运动矢量预测器以形成细化的运动矢量预测器，并且基于细化的运动矢量预测器对当前块进行解码，细化的运动矢量预测器与第二运动分辨率相关联，并且第二运动分辨率高于第一运动分辨率。在运动矢量差的幅度小于第一阈值时，可以确定初始运动矢量预测器要被细化。在运动矢量差的幅度超过第二阈值时，可以确定初始运动矢量预测器不要被细化，并且基于初始运动矢量预测器对当前块进行解码。这里，自动执行运动细化的激活或停用，而无需显式信令。在运动矢量差的幅度超过第一阈值而不是第二阈值时，可以从比特流对标志进行解码，并且是否要细化初始运动矢量预测器基于所解码的标志。相邻解码块的运动矢量也可以用于确定是否执行运动细化。例如，如果当前块的初始运动矢量预测器与相邻解码块的至少一个运动矢量之间的差小于第三阈值，则确定初始运动矢量预测器要被细化。此外，也可以使用纹理级别。例如，如果相邻解码块的多个像素的纹理级别超过第四阈值，则确定初始运动矢量预测器要被细化。根据另一总体方面，呈现了一种视频编码的方法，包括：访问初始运动矢量预测器，初始运动矢量预测器与第一运动分辨率相关联；基于与初始运动矢量预测器相对应的运动矢量差来确定是否显式地以信号通知初始运动矢量预测器的细化，该细化与第二运动分辨率相关联，并且第二运动分辨率高于第一运动矢量分辨率；以及对运动矢量差进行编码。在运动矢量差的幅度小于第一阈值而不是第二阈值时，不显式地以信号通知初始运动矢量预测器的细化。在运动矢量差的幅度超过第二阈值时，在没有显式信令的情况下停用初始运动矢量预测器的细化。在运动矢量差的幅度超过第一阈值时，将标志编码到比特流中以显式地以信号通知是否要细化初始运动矢量预测器。相邻重建块的运动矢量也可以用于确定是否执行运动细化。例如，如果当前块的初始运动矢量预测器与相邻重建块的至少一个运动矢量之间的差小于第三阈值，则确定初始运动矢量预测器要被细化。此外，也可以使用纹理级别。例如，如果多个像素的纹理级别超过第四阈值，则确定初始运动矢量预测器要被细化。本实施例还提供了用于执行这些方法的装置。本实施例还提供了非临时性计算机可读储存介质，其上存储有用于执行上述方法中的任何一个的指令。本实施例还提供了根据上述方法生成的比特流。附图说明图1图示了示例性HEVC(高效视频译码)编码器。图2A是描绘当前块的五个空间候选{a1，b1，b0，a0，b2}的位置的图示示例，图2B是描绘使用AMVP(高级运动矢量预测)的示例性运动矢量表示的图示示例，以及图2C是描绘运动补偿预测的图示示例。图3图示了示例性HEVC视频解码器的框图。图4图示了根据本原理的实施例的在解码器处执行运动矢量细化的示例性方法。图5是描绘整数像素、半像素、四分之一像素和八分之一像素的像素位置的图示示例。图6A图示了要解码的示例性PU，以及图6B是图示出用于度量不连续性的相邻重建样本的L形集合和预测样本的L形集合的图示示例。图7A是图示出局部梯度的图示示例，以及图7B是图示出梯度的二阶矩的图示示例。图8图示了根据本原理的实施例的在编码器处执行运动矢量细化的示例性方法。图9图示了根据本原理的实施例的在解码器处执行运动矢量预测器细化的示例性方法。图10图示了根据本原理的实施例的在编码器处执行运动矢量预测器细化的示例性方法。图11图示了根据本原理的实施例的在解码器处利用自动运动细化激活来执行运动矢量预测器细化的示例性方法。图12图示了根据本原理的实施例的在编码器处利用自动运动细化激活来执行运动矢量预测器细化的示例性方法。图13图示了根据本原理的实施例的确定是否对特定MVP使用自适应运动细化的示例性方法。图14图示了示例性系统的框图，其中可以实现本原理的示例性实施例的各个方面。具体实施方式图1图示了示例性HEVC(高效视频译码)编码器100。为了对具有一个或多个图片的视频序列进行编码，将图片划分成一个或多个切片，其中每个切片可以包括一个或多个切片片段。将切片片段组织成译码单元、预测单元和变换单元。HEVC规范在“块”与“单元”之间进行区分，其中“块”寻址样本阵列(例如，亮度，Y)中的特定区域，而“单元”包括所有编码色彩分量(Y，Cb，Cr或单色)的同位(collocated)块、与块相关联的语法元素和预测数据(例如，运动矢量)。对于译码，将图片划分成具有可配置大小的方形的译码树块(CTB)，并且将连续的译码树块集合分组成切片。译码树单元(CTU)包含编码色彩分量的CTB。CTB是划分成译码块(CB)的四叉树的根，并且将译码块划分成一个或多个预测块(PB)并形成划分成变换块(TB)的四叉树的根。对应于译码块、预测块和变换块，译码单元(CU)包括预测单元(PU)和树形结构的变换单元(TU)集合，PU包括所有色彩分量的预测信息，并且TU包括每个色彩分量的残差译码语法结构。亮度分量的CB、PB和TB的大小适用于对应的CU、PU和TU。在本申请中，术语“块”可以用于指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”也可以用于指代如H.264/AVC或其他视频译码标准中指定的宏块、分区和子块，并且更一般地指代各种大小的数据阵列。在示例性编码器100中，如下所述，由编码器元件对图片进行编码。要编码的图片以CU为单位进行处理。使用帧内或帧间模式对每个CU进行编码。在以帧内模式对CU进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器判定(105)使用帧内模式或帧间模式中的哪一个对CU进行编码，并且通过预测模式标志来指示帧内/帧间判定。通过从原始图像块中减去(110)预测块来计算预测残差。根据相同切片内的重建的相邻样本来预测帧内模式中的CU。在HEVC中，35个帧内预测模式的集合是可用的，其包括DC、平面和33个角度预测模式。根据与当前块相邻的行和列来重建帧内预测参考。使用来自先前重建块的可用样本，该参考在水平和垂直方向上延伸超过块大小的两倍。在角度预测模式用于帧内预测时，可以沿着由角度预测模式指示的方向来复制参考像素。可以使用两个不同选项对当前块的适用亮度帧内预测模式进行译码。如果适用模式被包括在三个最可能模式(MPM)的构建列表中，则通过MPM列表中的索引来以信号通知模式。否则，通过模式索引的固定长度二进制化来以信号通知模式。从顶部和左侧相邻本文档来自技高网...

【技术保护点】
1.一种视频解码的方法(1100)，包括：访问(1110)视频的当前块的运动矢量预测器和运动矢量差，所述运动矢量预测器与第一运动分辨率相关联；以及基于所述运动矢量差来确定(1125，1130)是否细化所述运动矢量预测器，其中细化(1170)所述运动矢量预测器包括：基于运动搜索来形成细化的运动矢量预测器，所述细化的运动矢量预测器与第二运动分辨率相关联，并且所述第二运动分辨率高于所述第一运动分辨率，以及基于所述细化的运动矢量预测器和所述运动矢量差来形成(1170)所述当前块的运动矢量，其中基于所形成的运动矢量对所述当前块进行解码。

【技术特征摘要】
【国外来华专利技术】2016.06.30 EP 16305827.41.一种视频解码的方法(1100)，包括：访问(1110)视频的当前块的运动矢量预测器和运动矢量差，所述运动矢量预测器与第一运动分辨率相关联；以及基于所述运动矢量差来确定(1125，1130)是否细化所述运动矢量预测器，其中细化(1170)所述运动矢量预测器包括：基于运动搜索来形成细化的运动矢量预测器，所述细化的运动矢量预测器与第二运动分辨率相关联，并且所述第二运动分辨率高于所述第一运动分辨率，以及基于所述细化的运动矢量预测器和所述运动矢量差来形成(1170)所述当前块的运动矢量，其中基于所形成的运动矢量对所述当前块进行解码。2.一种装置(1400)，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问视频的当前块的运动矢量预测器和运动矢量差，所述运动矢量预测器与第一运动分辨率相关联；以及基于所述运动矢量差来确定是否细化所述运动矢量预测器，其中所述一个或多个处理器被配置为通过执行以下来细化所述运动矢量预测器：基于运动搜索来形成细化的运动矢量预测器，所述细化的运动矢量预测器与第二运动分辨率相关联，并且所述第二运动分辨率高于所述第一运动分辨率，以及基于所述细化的运动矢量预测器和所述运动矢量差来形成所述当前块的运动矢量，其中基于所形成的运动矢量对所述当前块进行解码。3.如权利要求1所述的方法，或者如权利要求2所述的装置，其中在所述运动矢量差的幅度小于第一阈值时，确定所述运动矢量预测器要被细化。4.如权利要求1或3所述的方法，或者如权利要求2或3所述的装置，其中在所述运动矢量差的幅度超过第二阈值时，确定所述运动矢量预测器不要被细化，还包括基于所述运动矢量预测器和所述运动矢量差对所述当前块进行解码。5.如权利要求1和3-4中任一项所述的方法，或者如权利要求2-4中任一项所述的装置，在所述运动矢量差的幅度超过第一阈值时，还包括从比特流对标志进行解码，其中是否要细化所述运动矢量预测器基于所解码的标志。6.如权利要求1和3-5中任一项所述的方法，还包括，或者如权利要求2-5中任一项所述的装置，所述一个或多个处理器还被配置为执行：访问相邻解码块的至少一个运动矢量，其中如果所述当前块的所述运动矢量预测器与所述至少一个运动矢量之间的差小于第三阈值，则确定所述运动矢量预测器要被细化。7.如权利要求1和3-6中任一项所述的方法，还包括，或者如权利要求2-6中任一项所述的装置，所述一个或多个处理器还被配置为执行：访问相邻解码块的多个像素，...

【专利技术属性】
技术研发人员：F加尔平，F拉卡普，T波里尔，P博尔德斯，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国,US