视频处理方法和设备技术

本申请实施例提供一种视频处理方法和设备，可以有效实现运动估计和/或运动补偿过程中的插值过程。该方法包括：利用多种插值滤波器中的插值滤波器，对目标帧的具有多运动矢量MV的图像块，进行运动估计和/或运动补偿。

【技术实现步骤摘要】
【国外来华专利技术】视频处理方法和设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域，并且更具体地，涉及一种视频处理方法和设备。
技术介绍
预测是主流视频编码框架的重要模块，预测可以包括帧内预测和帧间预测。帧间预测的大致流程可以包括运动估计(MotionEstimation，ME)与运动补偿(MotionCompensation，MC)。运动估计的过程就是将当前帧的当前编码块在参考帧中经过搜索、比较后得到运动矢量(MotionVector,MV)的过程。运动补偿就是利用MV和参考块得到当前块的预测块的过程。运动补偿得到的预测块可能和原始的当前块有一定的差别，因此需要将预测块和当前块的差值(残差)经过变换、量化等过程之后传递到解码端，除此之外还需要将MV和参考帧的信息传递到解码端，以用于解码端重构出当前帧。由于自然物体运动的连续性，物体在相邻两帧之间的运动矢量不一定刚好是整数个像素单位。为了提高运动矢量的精度，亚像素精度被提出来。例如，在高性能视频编码(HighEfficiencyVideoCoding，HEVC)标准中，对亮度分量的运动估计采用1/4像素精度的运动矢量。但是在数字视频中并不存在亚像素处的样值，一般来说，为了实现1/K像素精度估计，必须将这些亚像素点的值近似内插出来，也就是对参考帧的行方向和列方向进行K倍内插，并在插值之后的参考帧中搜索预测块。在对当前块进行插值的过程，需要用到当前块中的像素点及其相邻区域的像素点。如何有效实现上述插值过程是一项亟待解决的问题。
技术实现思路
本申请实施例提供一种视频处理方法和设备，可以有效实现运动估计和/或运动补偿过程中的插值过程。第一方面，提供了一种视频处理方法，包括：利用多种插值滤波器中的插值滤波器，对目标帧的具有多运动矢量MV的图像块，进行运动估计和/或运动补偿。第二方面，提供了一种视频处理设备，包括处理器，所述处理器用于调用存储器中存储的代码，执行以下操作：利用多种插值滤波器中的插值滤波器，对目标帧的具有多MV的图像块，进行运动估计和/或运动补偿。第三方面，提供了一种计算机系统，包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以进行上述第一方面的方法中的操作。第四方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面的方法。第五方面，提供了一种计算机程序产品，该程序产品包括程序代码，该程序代码可以用于指示执行上述第一方面的方法。因此，在本申请实施例，对于具有多MV的图像块，可以具有多种插值滤波器可供选择，可以灵活选择插值滤波器，从而可以在保证编码性能的同时，降低存储带宽压力。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本申请实施例的视频编码的框架图。图2是根据本申请实施例的预测方式的示意性图。图3是根据本申请实施例的图像块的插值过程的示意性图。图4是根据本申请实施例的Affine模式的控制点的示意性图。图5是根据本申请实施例的CU的运动矢量的示意性图。图6是根据本申请实施例的视频处理方法的示意性流程图。图7是根据本申请实施例的视频处理设备的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的
的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。如图1所示，视频编码框架主要包括帧内预测、帧间预测、变换、量化、熵编码、环路滤波几个部分。本申请主要针对帧间预测(interprediction)部分进行改进。帧间预测的大致思想是：利用视频相邻帧之间的时域相关性，使用重构帧作为参考帧，通过运动估计(MotionEstimation，ME)和运动补偿(MotionCompensation，MC)对当前帧进行预测，从而去除视频的时间冗余信息。本文中提及的当前帧(或目标帧)，在编码场景下，表示当前正在编码的帧，在解码场景下，表示当前正在解码的帧。本文中提及的重构帧，在编码场景下，表示先前已经编码的帧，在解码场景下，表示先前已经解码的帧。对于一帧图像，在编码过程中不会直接对整帧图像进行处理，通常将整帧图像划分为图像块进行处理。作为示例，先将整帧图像划分成编码区域(CodingTreeUnit，CTU)，例如CTU的大小为64×64或128×128(单位：像素)，然后可以进一步地将CTU划分成方形或矩形的编码单元(CodingUnit，CU)。在编码过程中，可以对CU进行处理。本文中提及的图像块的大小的单位可以均为像素。帧间预测的大致流程如下。针对当前帧中的当前图像块(下文简称为当前块)，在参考帧中寻找最相似块作为当前块的预测块。当前块与相似块之间的相对位移称为运动矢量(MotionVector，MV)。运动估计指的是，将当前帧的当前块在参考帧中经过搜索、比较后得到运动矢量的过程。运动补偿指的是，利用参考块与运动估计得到的运动矢量得到预测块的过程。帧间预测的过程获得的预测块可能和原始的当前块有一定的差别，因此，可以计算预测块与当前块之间的差值，该差值可称为残差。对残差进行变换、量化、熵编码等处理之后，得到编码比特流。在编码端，完成图像编码后，即熵编码得到的比特流之后，可以将比特流以及编码模式信息，例如帧间预测模式、运动矢量信息等信息，进行存储或发送到解码端。在解码端，获得熵编码比特流之后，先对该比特流进行熵解码，得到相应的残差；然后，根据解码得到的运动矢量等编码模式信息，获得预测块；最后，根据残差和预测块，得到当前块中各像素点的值，即重构出当前块，以此类推，重构出当前帧。如图1所示，在编码过程中，还可以包括反量化和反变换等步骤。反量化指的就是与量化过程相反的过程。反变换指的就是与变换过程相反的过程。帧间预测可以包括前向预测、后向预测、双预测等。其中，前向预测是利用当前帧(例如，如图2所示的，标号为t的帧)的前一重构帧(可以称为历史帧)对当前帧进行预测。后向预测是利用当前帧之后的帧(可以称为将来帧)对当前帧本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n利用多种插值滤波器中的插值滤波器，对目标帧的具有多MV的图像块，进行运动估计和/或运动补偿。/n

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，其特征在于，包括：
利用多种插值滤波器中的插值滤波器，对目标帧的具有多MV的图像块，进行运动估计和/或运动补偿。


2.根据权利要求1所述的方法，其特征在于，所述多种插值滤波器中不同的插值滤波器对应不同的预设条件；
所述利用多种插值滤波器中的插值滤波器，为目标帧的具有多MV的图像块，进行运动估计和/或运动补偿，包括：
在第一插值滤波器对应的第一预设条件得到满足时，利用所述第一插值滤波器，对所述图像块，进行运动估计和/或运动补偿。


3.根据权利要求2所述的方法，其特征在于，不同的插值滤波器对应的预设条件在以下方面中的至少一种不同：
所述图像块的编码模式、所述图像块的尺寸所处的区间、所述图像块的待编码的分量、所述图像块的MV的数量。


4.根据要求要求1所述的方法，其特征在于，不同的预设条件对应所述多种插值滤波器中的不同插值滤波器；
利用多种插值滤波器中的插值滤波器，对目标帧的具有多MV的图像块，进行运动估计和/或运动补偿，包括：
在所述多种预设条件中的第一预设条件得到满足时，利用所述第一预设条件对应的所述第一插值滤波器，对所述图像块，进行运动估计和/或运动补偿。


5.根据权利要求4所述的方法，其特征在于，不同的预设条件在以下方面中的至少一种不同：
所述图像块的编码模式、所述图像块的尺寸所处的区间、所述图像块的待编码的分量、所述图像块的MV的数量。


6.根据权利要求2或3所述的方法，其特征在于，所述第一插值滤波器对应的预设条件包括以下中的至少两种：
所述图像块的编码模式为帧间inter模式，所述待编码的分量为亮度分量；
所述图像块的编码模式为inter模式，所述待编码的分量为色度分量；
所述图像块的编码模式为仿射运动补偿预测Affine模式，所述待编码的分量为色度分量；
所述图像块的编码模式为Affine模式，所述待编码的分量为亮度分量。


7.根据权利要求6所述的方法，其特征在于，包括所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量的预设条件进一步包括：所述图像块的尺寸小于或等于预设值。


8.根据权利要求2至5中任一项所述的方法，其特征在于，以下预设条件分别对应于不同的插值滤波器：
所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量，所述图像块的尺寸小于或等于第一预设值且大于第二预设值；
所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量，所述图像块的尺寸小于或等于所述第二预设值。


9.根据权利要求2至5中任一项所述的方法，其特征在于，以下预设条件分别对应于不同的插值滤波器：
所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量；
所述图像块的编码模式为inter模式，所述待编码的分量为色度分量。


10.根据权利要求2至5中任一项所述的方法，其特征在于，以下预设条件分别对应于不同的插值滤波器：
所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量；
所述图像块的编码模式为Affine模式，所述待编码的分量为亮度分量或色度分量。


11.根据权利要求9或10所述的方法，其特征在于，包括所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量的预设条件进一步包括：所述图像块的尺寸大于预设值。


12.根据权利要求2至5中任一项所述的方法，其特征在于，
所述第一预设条件包括：所述图像块的编码模式为Affine模式，所述待编码的分量为亮度分量；
所述第一滤波器的抽头数量为4。


13.根据权利要求2至5中任一项所述的方法，其特征在于，
所述第一预设条件包括：所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量；
所述第一滤波器的抽头数量为4或6。


14.根据权利要求13所述的方法，其特征在于，所述第一预设条件进一步包括：所述图像块的尺寸小于或等于预设值。


15.根据权利要求2至5中任一项所述的方法，其特征在于，
所述第一预设条件包括：所述图像块的编码模式为inter模式，所述待编码的分量为亮度分量；
所述第一滤波器的抽头数量为8。


16.根据权利要求15所述的方法，其特征在于，所述第一预设条件进一步包括：所述图像块的尺寸大于预设值。


17.根据权利要求2至5中任一项所述的方法，其特征在于，
所述第一预设条件包括：所述图像块的编码模式为inter模式，所述待编码的分量为色度分量；
所述第一滤波器的抽头数量为4。


18.根据权利要求2至5中任一项所述的方法，其特征在于，
所述第一预设条件包括：所述图像块的编码模式为Affine模式，所述待编码的分量为色度分量；
所述第一滤波器的抽头数量为4。


19.根据权利要求1至3中任一项所述的方法，其特征在于，所述图像块包括亮度分量和色度分量；
所述图像块的亮度分量和色度分量采用相同的插值方式进行运动估计和/或运动补偿。


20.根据权利要求19所述的方法，其特征在于，
在满足以下至少一个条件时，所述图像块的亮度分量和色度分量采用相同的插值方式进行运动估计和/或运动补偿：
码流中具有特定标识位；编码模式为inter模式或Affine模式；所述图像块的尺寸大于预设值。


21.根据权利要求19或20所述的方法，其特征在于，所述图像块的亮度分量和色度分量采用相同的插值方式进行运动估计和/或运动补偿，包括：
所述图像块的亮度分量和色度分量用于运动估计和/或运动补偿的插值滤波器的抽头数量相同；和/或，
所述图像块的亮度分量和色度分量用于运动估计和/或运动补偿的插值滤波器的插值系数相同。


22.根据权利要求19至21中任一项所述的方法，其特征在于，所述图像块的亮度分量和色度分量的编码模式均为inter模式。


23.根据权利要求19至21中任一项所述的方法，其特征在于，所述图像块的亮度分量和色度分量的编码模式均为Affine模式。


24.根据权利要求19至23中任一项所述的方法，其特征在于，所述图像块的亮度分量和色度分量用于运动估计和/或运动补偿的插值滤波器的抽头数量为4，用于插值出1/16的像素。


25.根据权利要求19至24中任一项所述的方法，其特征在于，所述方法用于编码端，所述方法还包括：
在码流中写入标识位，所述标识位用于指示所述图像块的亮度分量和色度分量采用相同的运动估计和/或运动补偿的插值方式。


26.根据权利要求19至24中任一项所述的方法，其特征在于，所述方法用于解码端，所述方法还包括：
在码流中获取标识位，所述标识位用于指示所述图像块的亮度分量和色度分量采用相同的运动估计和/或运动补偿的插值方式。


27.根据权利要求1至26中任一项所述的方法，其特征在于，所述方法用于编码端；所述方法还包括：
在码流中加入第一标识位，所述第一标识位用于指示从多种插值滤波器中选择其中一种插值滤波器以用于运动估计和/或运动补偿。


28.根据权利要求1至26中任一项所述的方法，其特征在于，所述方法用于解码端；所述方法还包括：
在码流中获取第一标识位，所述第一标识位用于指示从多种插值滤波器中选择其中一种插值滤波器以用于运动估计和/或运动补偿。


29.根据权利要求27或28所述的方法，其特征在于，所述第一标识位用于指示从多种抽头数量的滤波器中选择其中一种抽头数量的滤波器以用于运动估计和/或运动补偿。


30.根据权利要求29所述的方法，其特征在于，所述多种抽头数量的滤波器包括第一滤波器和第二滤波器，所述第一滤波器的抽头数量为8，所述第二滤波器的抽头数量为6或者4，或者所述第二滤波器的抽头数量指示与色度分量的滤波器的抽头数量相同；
所述第一标识位用于指示选择所述第一滤波器或者所述第二滤波器。


31.根据权利要求27至30任一项所述的方法，其特征在于，所述方法用于编码端，所述方法还包括：
在码流中加入第二标识位，当所述第二标识位用于指示所述目标帧是B帧时，在所述码流具有所述第一标识位。


32.根据权利要求27至30任一项所述的方法，其特征在于，所述方法用于解码端，所述方法还包括：
在码流中获取第二标识位，当所述第二标识位用于指示所述目标帧是B帧时，所述码流中具有所述第一标识位。


33.根据权利要求27至32中任一项所述的方法，其特征在于，所述第一标识位承载于序列头、帧头、Slice头。


34.根据权利要求31或32所述的方法，其特征在于，所述第二标识位承载于序列头、帧头、Slice头。


35.根据权利要求31至34中任一项所述的方法，其特征在于，所述第二标识位为所述Slice头中的Slice_type。


36.一种视频处理设备，其特征在于，包括处理器，所述处理器用于调...

【专利技术属性】
技术研发人员：孟学苇，郑萧桢，王苫社，马思伟，
申请(专利权)人：北京大学，深圳市大疆创新科技有限公司，
类型：发明
国别省市：北京;11