自适应插值滤波器制造技术

本申请公开了一种用于在视频编解码中选择与仿射块结合使用的插值滤波器的机制。基于控制点确定所述仿射块的子块的运动矢量。还确定所述子块的子块大小。选择所述插值滤波器以应用于与所述子块对应的参考块。基于所述子块大小选择所述插值滤波器。采用所述子块的所述运动矢量和所述子块的当前样本的偏移，确定所述参考块的参考样本。包括：当所述偏移处的所述运动矢量指向所述参考块的分数位置时，将所述插值滤波器应用于所述参考块，以确定所述参考样本。采用所述参考样本确定残差信息，以对所述仿射块进行编码。

【技术实现步骤摘要】
【国外来华专利技术】自适应插值滤波器相关申请案交叉申请本专利申请要求HuanbangChen等人2018年2月14日递交的专利技术名称为“AdaptiveInterpolationFilter”的第62/630,607号美国临时专利申请的权益，其以引用的方式并入本文。
本专利技术通常涉及视频编解码，具体涉及在视频编解码中经由帧间预测来生成用于编码视频块的运动模型候选列表。
技术介绍
即使在视频较短的情况下也需要对大量的视频数据进行描述。这样一来，当数据要在带宽容量有限的通信网络中发送或以其他方式传输时，可能会造成困难。因此，在现代电信网络中传输视频数据之前通常会对视频数据进行压缩。由于内存资源可能有限，因此当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在源侧使用软件和/或硬件，以在传输或存储之前对视频数据进行编码，从而减少表示数字视频图像所需的数据量。然后，压缩的数据在目的地侧由对视频数据进行解码的视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进的压缩和解压缩技术，这些技术在几乎不影响图像质量的情况下能够提高压缩比。
技术实现思路
在一个实施例中，本专利技术包括一种在编码器中实施的方法。所述方法包括：所述编码器的处理器根据仿射帧间预测确定控制点以对视频信号中的仿射块进行编码。所述方法还包括：所述处理器确定所述子块的子块大小。所述方法还包括：所述处理器基于所述控制点确定所述仿射块的子块的运动矢量。所述方法还包括：所述处理器选择插值滤波器以应用于与所述子块对应的参考块，其中，所述插值滤波器是基于所述子块大小选择的。所述方法还包括：所述处理器确定当前样本的运动矢量指向所述参考块的分数位置(afractionalpositionatthereferenceblock)，其中，所述当前样本的所述运动矢量相对于所述子块的运动矢量偏移。所述方法还包括：所述处理器将所述插值滤波器应用于所述参考块，以确定所述分数位置处的参考样本。所述方法还包括：所述处理器基于所述子块的所述当前样本与所述参考块处的所述参考样本之间的差值，确定所述子块的残差信息。所述方法还包括：所述处理器将所述控制点和所述残差信息编码在比特流中。所述方法还包括：所述编码器的发射器向解码器传输所述比特流，以支持将所述仿射块重建为视频帧的一部分。例如，在仿射帧间预测中，为子块选择运动矢量。然后，基于所述运动矢量和所述当前样本与所述运动矢量的初始位置之间的偏移，将所述子块的每个样本与对应的参考样本进行比较。该过程用于确定帧间预测中的所述预测信息和残差信息。在某些情况下，所述样本偏移处的所述运动矢量最终指向所述参考帧处的分数位置。应用插值滤波器以确定参考样本在所述分数位置处的有效值，以便对所述样本进行比较。滤波器的复杂程度不同，复杂的滤波器提供更高的准确度，代价是所述编码器和解码器的处理资源。此外，较小的块往往比较大的块更准确地匹配移动。所公开的实施例包括基于子块大小选择插值滤波器，而不是尝试将单个插值滤波器应用于所有子块。例如，为小于阈值的子块选择复杂度较低的滤波器，为大于阈值的子块采用更复杂和更强大的插值滤波器。这允许在帧间的移动匹配良好且存在少量冲突数据时采用复杂度较低的滤波器，并且允许在运动较复杂时采用较复杂的滤波器。任选地，在任一前述方面中，所述方面的另一种实现方式提供：当所述子块大小大于阈值时，所述选择的插值滤波器包括第一数量抽头；当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器包括第二数量抽头；其中，所述第一数量抽头大于所述第二数量抽头。插值滤波器的复杂度可以根据滤波器中使用的抽头(例如，系数和/或项)数量来衡量。在该实施例中，对较大的子块采用具有更多抽头的较复杂的滤波器，对较小的子块采用具有更少抽头的复杂度更低的滤波器。任选地，在任一前述方面中，所述方面的另一种实现方式提供：当所述子块大小大于所述阈值时，所述选择的插值滤波器为具有六个、八个或十二个抽头的离散余弦变换插值滤波器(DCT-IF)。任选地，在任一前述方面中，所述方面的另一种实现方式提供：当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器为具有四个或六个抽头的DCT-IF。任选地，在任一前述方面中，所述方面的另一种实现方式提供：当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器为具有五个抽头的扭曲插值滤波器(WIF)。任选地，在任一前述方面中，所述方面的另一种实现方式提供：基于所述仿射块的所述控制点之间的运动矢量差值、所述仿射块的宽度和所述仿射块的高度，确定所述子块大小。任选地，在任一前述方面中，所述方面的另一种实现方式提供：从三维查找表确定所述子块大小，其中，通过所述仿射块的控制点之间的运动矢量差值、所述仿射块的大小和运动矢量精度，索引所述三维查找表。在一个实施例中，本专利技术包括一种非瞬时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，其中，所述计算机程序产品包括存储在所述非瞬时性计算机可读介质上的计算机可执行指令，当所述计算机可执行指令被处理器执行时，使得所述视频编解码设备执行上述任一方面所述的方法。在一个实施例中，本专利技术包括一种视频编解码设备，其中，所述视频编解码设备包括处理器，所述处理器用于根据仿射帧间预测确定控制点以对视频信号中的仿射块进行编码。所述处理器还用于确定所述子块的子块大小。所述处理器还用于基于所述控制点确定所述仿射块的子块的运动矢量。所述处理器还用于选择插值滤波器以应用于与所述子块对应的参考块，其中，所述插值滤波器是基于所述子块大小选择的。所述处理器还用于确定当前样本的运动矢量指向所述参考块的分数位置，其中，所述当前样本的所述运动矢量相对于所述子块的运动矢量偏移。所述处理器还用于将所述插值滤波器应用于所述参考块，以确定所述分数位置处的参考样本。所述处理器还用于基于所述子块的所述当前样本与所述参考块处的所述参考样本之间的差值，确定所述子块的残差信息。所述处理器还用于将所述控制点和所述残差信息编码在比特流中。所述视频编解码设备还包括耦合到所述处理器的发射器，其中，所述发射器用于向解码器传输所述比特流，以支持将所述仿射块重建为视频帧的一部分。所公开的实施例包括基于子块大小选择插值滤波器，而不是尝试将单个插值滤波器应用于所有子块。例如，为小于阈值的子块选择复杂度较低的滤波器，为大于阈值的子块采用更复杂和更强大的插值滤波器。这允许在帧间的移动匹配良好且存在少量冲突数据时采用复杂度较低的滤波器，并且允许在运动较复杂时采用较复杂的滤波器。任选地，在任一前述方面中，所述方面的另一种实现方式提供：当所述子块大小大于阈值时，所述选择的插值滤波器包括第一数量抽头；当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器包括第二数量抽头；其中，所述第一数量抽头大于所述第二数量抽头。插值滤波器的复杂度可以根据滤波器中使用的抽头(例如，系数和/或项)数量来衡量。在该实施例中，对较大的子块采用具有更多抽头的较复杂的滤波器，对较小的子块采用具有更少抽头的复杂度更低的滤波器。本文档来自技高网...

【技术保护点】
1.一种在编码器中实施的方法，其特征在于，所述方法包括：/n所述编码器的处理器根据仿射帧间预测确定控制点以对视频信号中的仿射块进行编码；/n所述处理器确定所述子块的子块大小；/n所述处理器基于所述控制点确定所述仿射块的子块的运动矢量；/n所述处理器选择插值滤波器以应用于与所述子块对应的参考块，其中，所述插值滤波器是基于所述子块大小选择的；/n所述处理器确定当前样本的运动矢量指向所述参考块的分数位置，其中，所述当前样本的所述运动矢量相对于所述子块的所述运动矢量偏移；/n所述处理器将所述插值滤波器应用于所述参考块，以确定所述分数位置处的参考样本；/n所述处理器基于所述子块的所述当前样本与所述参考块的所述参考样本之间的差值，确定所述子块的残差信息；/n所述处理器将所述控制点和所述残差信息编码在比特流中；/n所述编码器的发射器向解码器传输所述比特流，以支持将所述仿射块重建，所述重建仿射块为视频帧的一部分。/n

【技术特征摘要】
【国外来华专利技术】20180214 US 62/630,6071.一种在编码器中实施的方法，其特征在于，所述方法包括：
所述编码器的处理器根据仿射帧间预测确定控制点以对视频信号中的仿射块进行编码；
所述处理器确定所述子块的子块大小；
所述处理器基于所述控制点确定所述仿射块的子块的运动矢量；
所述处理器选择插值滤波器以应用于与所述子块对应的参考块，其中，所述插值滤波器是基于所述子块大小选择的；
所述处理器确定当前样本的运动矢量指向所述参考块的分数位置，其中，所述当前样本的所述运动矢量相对于所述子块的所述运动矢量偏移；
所述处理器将所述插值滤波器应用于所述参考块，以确定所述分数位置处的参考样本；
所述处理器基于所述子块的所述当前样本与所述参考块的所述参考样本之间的差值，确定所述子块的残差信息；
所述处理器将所述控制点和所述残差信息编码在比特流中；
所述编码器的发射器向解码器传输所述比特流，以支持将所述仿射块重建，所述重建仿射块为视频帧的一部分。


2.根据权利要求1所述的方法，其特征在于，当所述子块大小大于阈值时，所述选择的插值滤波器包括第一数量抽头；当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器包括第二数量抽头；其中，所述第一数量抽头大于所述第二数量抽头。


3.根据权利要求1至2中任一项所述的方法，其特征在于，当所述子块大小大于所述阈值时，所述选择的插值滤波器为具有六个抽头、八个抽头或十二个抽头的离散余弦变换插值滤波器(discretecosinetransforminterpolationfilter，DCT-IF)。


4.根据权利要求1至3中任一项所述的方法，其特征在于，当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器为具有四个抽头或六个抽头的DCT-IF。


5.根据权利要求1至3中任一项所述的方法，其特征在于，当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器为具有五个抽头的扭曲插值滤波器(warpinginterpolationfilter，WIF)。


6.根据权利要求1至5中任一项所述的方法，其特征在于，基于所述仿射块的所述控制点之间的运动矢量差值、所述仿射块的宽度和所述仿射块的高度，确定所述子块大小。


7.根据权利要求1至5中任一项所述的方法，其特征在于，从三维查找表中确定所述子块大小，其中，通过所述仿射块的控制点之间的运动矢量差值、所述仿射块的大小和运动矢量精度，索引所述三维查找表。


8.一种非瞬时性计算机可读介质，其特征在于，包括供视频编解码设备使用的计算机程序产品，其中，所述计算机程序产品包括存储在所述非瞬时性计算机可读介质上的计算机可执行指令，当所述计算机可执行指令被处理器执行时，使得所述视频编解码设备执行根据权利要求1至7中任一项所述的方法。


9.一种视频编解码设备，其特征在于，包括：
处理器，用于：
根据仿射帧间预测确定控制点以对视频信号中的仿射块进行编码；
确定所述子块的子块大小；
基于所述控制点确定所述仿射块的子块的运动矢量；
选择插值滤波器以应用于与所述子块对应的参考块，其中，所述插值滤波器是基于所述子块大小选择的；
确定当前样本的运动矢量指向所述参考块的分数位置，其中，所述当前样本的所述运动矢量相对于所述子块的运动矢量偏移；
将所述插值滤波器应用于所述参考块，以确定所述分数位置处的参考样本；
基于所述子块的所述当前样本与所述参考块处的所述参考样本之间的差值，确定所述子块的残差信息；
将所述控制点和所述残差信息编码在比特流中；
耦合到所述处理器的发射器，其中，所述发射器用于向解码器传输所述比特流，以支持将所述仿射块重建为视频帧的一部分。


10.根据权利要求9所述的视频编解码设备，其特征在于，当所述子块大小大于阈值时，所述选择的插值滤波器包括第一数量抽头；当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器包括第二数量抽头；其中，所述第一数量抽头大于所述第二数量抽头。


11.根据权利要求9至10中任一项所述的视频编解码设备，其特征在于，当所述子块大小大于所述阈值时，所述选择的插值滤波器为具有六个、八个或十二个抽头的离散余弦变换插值滤波器(DCT-IF)。


12.根据权利要求9至11中任一项所述的视频编解码设备，其特征在于，当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器为具有四个或六个抽头的DCT-IF。


13.根据权利要求9至11中任一项所述的视频编解码设备，其特征在于，当所述子块大小小于或等于所述阈值时，所述选择的插值滤波器为具有五个抽头的扭曲插值滤波器(WIF)。


14.根据权利要求9至13中任一项所述的视频编解码设备，其特征在于，基于所述仿射块的所述控制点之间的运动矢量差值、所述仿射块的宽度和所述仿射块的高度，确定所述子块大小。


15.根据权利要求9至13中任一项所述的视频编解码设备，其特征在于，从三维查找表确定所述子块大小，其中，通过所述仿射块的控制点之间的运动矢量差值、所述仿射块的大小和运动矢量精度，索引所述三维查找表。


16.一种编码器，其特征在于，包括：
控制点构件，用于根据仿射帧间预测确定控制点以对视频信号中的仿射块进行编码；
子块大小构件，用于确定所述子块的子块大小；
运动矢量构件，用于基于所述控制点确定所述仿射块的子块的运动矢量；
滤波器选择构件，用于选择插值滤波器以应用于与所述子块对应的参考块，其中，所述插值滤波器是基于所述子块大小选择的；
参考确定构件，用于确定当前样本的运动矢量指向所述参考块的分数位置，其中，所述当前样本的所述运动矢量相对于所述子块的运动矢量偏移；将所述插值滤波器应用于所述参考块，以确定所述分数位置处的参考样本；
残差构件，用于基于所述子块的所述当前样本与所述参考块处的所述参考样本之间的差值，确定所述子块的残差信息；
编码构件，用于将所述控制点和所述残差信息编码在比特流中；
发射构件，用于向解码器传输所述比特流，以支持将所述仿射块重建为视频帧的一部分。

【专利技术属性】
技术研发人员：陈焕浜，杨海涛，陈建乐，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44