编码和解码视频数据的方法、装置和计算机可读存储媒体制造方法及图纸

一种视频译码器经配置以当作为高级残余预测的部分确定参考块时应用可分离的双线性内插滤波器。具体来说，所述视频译码器可基于视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置。所述视频译码器还可确定第二参考图片中的第二参考块的位置。所述视频译码器可将可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本。所述视频译码器可将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本。预测性块的每一相应样本可等于所述第一参考块的相应样本加相应残余预测符样本。

Advanced residual prediction filter for video decoding

A video decoder is configured to apply a separable bilinear interpolation filter when a reference block is identified as a part of the advanced residual prediction. Specifically, the video decoder can determine the position of the first reference block in the first reference picture based on the motion vector of the current block in the current image of the video data. The video decoder may also determine the position of the second reference block in the second reference picture. The video decoder can be applied to a sample of the second reference picture to determine a sample of the second reference block. The video decoder can be applied to a sample of third reference images to determine a sample of a third reference block. Each corresponding sample of the prediction block can be equal to the corresponding sample of the first reference block and the corresponding residual predictive sample.

【技术实现步骤摘要】
【国外来华专利技术】本申请案主张2014年6月26日申请的第62/017,754号美国临时专利申请案和2014年7月4日申请的第62/021,063号美国临时专利申请案的权益，以上申请案中的每一者的整个内容以引用的方式并入本文中。
本专利技术涉及视频编码和视频解码。
技术介绍
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、ITU-TH.265所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块的间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换至变换域，从而产生残余系数，可接着量化所述残余系数。可扫描最初布置为二维阵列的经量化的系数，以便产生系数的一维向量，且可应用熵译码以实现更多压缩。可例如从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可发射左眼和右眼视图以支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量和一个深度视图分量。
技术实现思路
一般来说，本专利技术描述基于高级编解码器的多视图和3维(3D)视频译码的技术，包含以3D-HEVC编解码器对两个或更多个视图的译码。更具体来说，本专利技术描述与非基础视图中的高级残余预测(ARP)相关的实例技术。在一个实例方面中，本专利技术描述一种对视频数据进行解码的方法，所述方法包括：基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置；将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本；确定第二参考图片中的第二参考块的位置；将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本；将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本，其中所述第一、第二和第三参考图片中的每一者是不同图片；确定预测性块，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本加相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处；从位流获得表示残余块的数据；以及至少部分地基于所述残余块和所述预测性块而重构所述当前图片的译码块。在另一实例方面中，本专利技术描述一种对视频数据进行编码的方法，所述方法包括：基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置；将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本；确定第二参考图片中的第二参考块的位置；将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本；将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本，其中所述第一、第二和第三参考图片中的每一者是不同图片；确定预测性块，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处；至少部分地基于所述预测性块确定残余块；以及在位流中包含表示所述残余块的数据。在另一实例方面中，本专利技术描述一种视频译码装置，其包括：存储器，其经配置以存储视频数据；以及一或多个处理器，其经配置以：基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置；将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本；确定第二参考图片中的第二参考块的位置；将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本；将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本，其中所述第一、第二和第三参考图片中的每一者是不同图片；以及确定预测性块，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处。在另一实例方面中，本专利技术描述一种视频译码装置，其包括：用于基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置的装置；用于将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本的装置；确定第二参考图片中的第二参考块的位置；用于将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本的装置；用于将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本的装置，其中所述第一、第二和第三参考图片中的每一者是不同图片；以及用于确定预测性块的装置，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一本文档来自技高网...

【技术保护点】
一种对视频数据进行解码的方法，所述方法包括：基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置；将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本；确定第二参考图片中的第二参考块的位置；将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本；将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本，其中所述第一、第二和第三参考图片中的每一者是不同图片；确定预测性块，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本加相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处；从位流获得表示残余块的数据；以及至少部分地基于所述残余块和所述预测性块而重构所述当前图片的译码块。

【技术特征摘要】
【国外来华专利技术】2014.06.26 US 62/017,754;2014.07.04 US 62/021,063;1.一种对视频数据进行解码的方法，所述方法包括：基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置；将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本；确定第二参考图片中的第二参考块的位置；将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本；将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本，其中所述第一、第二和第三参考图片中的每一者是不同图片；确定预测性块，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本加相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处；从位流获得表示残余块的数据；以及至少部分地基于所述残余块和所述预测性块而重构所述当前图片的译码块。2.根据权利要求1所述的方法，其中对于多个阶段中的每一相应阶段，用于所述相应阶段的所述可分离的双线性内插滤波器的相应系数的总和等于64，所述多个阶段对应于所述位流符合的视频译码标准所允许的子整数位置。3.根据权利要求2所述的方法，其中对于所述多个阶段中的每一相应阶段，用于所述相应阶段的所述可分离的双线性内插滤波器的所述相应系数的所述总和等于(x*8,(8-x)*8)，其中x等于在0到8的范围内的值。4.根据权利要求1所述的方法，其中将所述可分离的双线性内插滤波器应用于所述第一参考图片的所述样本、将所述可分离的双线性内插滤波器应用于所述第二参考图片的所述样本以及将所述可分离的双线性内插滤波器应用于所述第三参考图片的所述样本包括：对于所述第一参考块、所述第二参考块和所述第三参考块的每一相应样本，基于所述相应样本的位置应用以下公式中的一或多者以确定所述相应样本：ab0,0＝(56*B0,0+8*B1,0)>>shift1，ac0,0＝(48*B0,0+16*B1,0)>>shift1，ad0,0＝(40*B0,0+24*B1,0)>>shift1，ae0,0＝(32*B0,0+32*B1,0)>>shift1，af0,0＝(24*B0,0+40*B1,0)>>shift1，ag0,0＝(16*B0,0+48*B1,0)>>shift1，ah0,0＝(8*B0,0+56*B1,0)>>shift1，ba0,0＝(56*B0,0+8*B0,1)>>shift1，ca0,0＝(48*B0,0+16*B0,1)>>shift1，da0,0＝(40*B0,0+24*B0,1)>>shift1，ea0,0＝(32*B0,0+32*B0,1)>>shift1，fa0,0＝(24*B0,0+40*B0,1)>>shift1，ga0,0＝(16*B0,0+48*B0,1)>>shift1，ha0,0＝(8*B0,0+56*B0,1)>>shift1，bX0,0＝(56*aX0,0+8*aX0,1)>>shift2，cX0,0＝(48*aX0,0+16*aX0,1)>>shift2，dX0,0＝(40*aX0,0+24*aX0,1)>>shift2，eX0,0＝(32*aX0,0+32*aX0,1)>>shift2，fX0,0＝(24*aX0,0+40*aX0,1)>>shift2，gX0,0＝(16*aX0,0+48*aX0,1)>>shift2，hX0,0＝(8*aX0,0+56*aX0,1)>>shift2，其中对于标记有bX0,0、cX0,0、dX0,0、eX0,0、fX0,0、gX0,0和hX0,0的样本，X分别被b、c、d、e、f、g和h代替，且其中shift1等于所述相应样本的位深度减8，且shift2等于6。5.根据权利要求1所述的方法，其中：所述当前图片在第一视图中，所述第二参考图片和所述第三参考图片两者在不同于所述第一视图的第二视图中，所述当前块的所述运动向量是所述当前块的时间运动向量，所述第三参考图片的图片次序计数POC值等于所述当前图片的POC值，所述方法进一步包括：确定所述第一参考图片，其中所述第一参考图片的POC值等于所述第二参考图片的POC值，所述第一参考图片的所述POC值和所述第二参考图片的所述POC值不同于所述当前图片的所述POC值；以及基于所述当前块的视差向量确定所述第三参考图片中的所述第三参考块的位置，且确定所述第二参考块的所述位置包括确定所述第二参考块的所述位置以使得所述第二参考块的所述位置由所述当前块的所述时间运动向量和所述当前块的所述视差向量的总和指示。6.根据权利要求1所述的方法，其中：所述当前图片和所述第二参考图片两者在第一视图中，所述第三参考图片在不同于所述第一视图的第二视图中，所述当前块的所述运动向量是所述当前块的视差运动向量，所述第二参考图片的图片次序计数POC值不同于所述当前图片的POC值，所述第三参考图片的POC值不同于所述当前图片的所述POC值且等于所述第二参考图片的所述POC值；所述方法进一步包括：基于所述当前块的所述视差运动向量确定所述第一参考块，其中所述第一参考图片具有与所述当前图片相同的POC值且在所述第二视图中；以及确定所述第三参考块的位置以使得所述第三参考图片中的所述第三参考块的所述位置由所述第一参考块的时间运动向量指示，且确定所述第二参考块的所述位置包括再使用所述第一参考块的所述时间运动向量以确定所述第二参考块的所述位置。7.根据权利要求1所述的方法，其中所述预测性块是第一预测性块，所述方法进一步包括：基于所述当前块的第二运动向量确定第四参考图片中的第四参考块的位置；将所述可分离的双线性内插滤波器应用于所述第四参考图片的样本以确定所述第四参考块的样本；部分地基于所述当前块的所述第二运动向量确定第五参考图片中的第五参考块的位置；将所述可分离的双线性内插滤波器应用于所述第五参考图片的样本以确定所述第五参考块的样本；将所述可分离的双线性内插滤波器应用于第六参考图片的样本以确定第六参考块的样本，其中所述第四、第五和第六参考图片中的每一者是不同图片；以及确定第二预测性块，其中所述第二预测性块的每一相应样本等于所述第四参考块的相应样本加相应残余预测符样本，所述相应残余预测符样本等于所述加权因数乘以所述第五参考块的相应样本与所述第六参考块的相应样本之间的差，且其中所述第四参考块的所述相应样本、所述第五参考块的所述相应样本以及所述第六参考块的所述相应样本在所述第四、第五和第六参考块内对应于所述第二预测性块的所述相应样本的位置的位置处，且其中重构所述译码块包括至少部分地基于所述残余块、所述第一预测性块和所述第二预测性块重构所述当前图片的所述译码块。8.一种对视频数据进行编码的方法，所述方法包括：基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置；将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本；确定第二参考图片中的第二参考块的位置；将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本；将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本，其中所述第一、第二和第三参考图片中的每一者是不同图片；确定预测性块，其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测符样本，所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差，其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处；至少部分地基于所述预测性块确定残余块；以及在位流中包含表示所述残余块的数据。9.根据权利要求8所述的方法，其中对于多个阶段中的每一相应阶段，用于所述相应阶段的所述可分离的双线性内插滤波器的相应系数的总和等于64，所述多个阶段对应于所述位流符合的视频译码标准所允许的子整数位置。10.根据权利要求9所述的方法，其中对于所述多个阶段中的每一相应阶段，用于所述相应阶段的所述可分离的双线性内插滤波器的所述相应系数的所述总和等于(x*8,(8-x)*8)，其中x等于在0到8的范围内的值。11.根据权利要求8所述的方法，其中将所述可分离的双线性内插滤波器应用于所述第一参考块的所述样本、将所述可分离的双线性内插滤波器应用于所述第二参考图片的所述样本以及将所述可分离的双线性内插滤波器应用于所述第三参考图片的所述样本包括：对于所述第一参考块、所述第二参考块和所述第三参考块的每一相应样本，基于所述相应样本的位置应用以下公式中的一或多者以确定所述相应样本：ab0,0＝(56*B0,0+8*B1,0)>>shift1，ac0,0＝(48*B0,0+16*B1,0)>>shift1，ad0,0＝(40*B0,0+24*B1,0)>>shift1，ae0,0＝(32*B0,0+32*B1,0)>>shift1，af0,0＝(24*B0,0+40*B1,0)>>shift1，ag0,0＝(16*B0,0+48*B1,0)>>shift1，ah0,0＝(8*B0,0+56*B1,0)>>shift1，ba0,0＝(56*B0,0+8*B0,1)>>shift1，ca0,0＝(48*B0,0+16*B0,1)>>shift1，da0,0＝(40*B0,0+24*B0,1)>>shift1，ea0,0＝(32*B0,0+32*B0,1)>>shift1，fa0,0＝(24*B0,0+40*B0,1)>>shift1，ga0,0＝(16*B0,0+48*B0,1)>>shift1，ha0,0＝(8*B0,0+56*B0,1)>>shift1，bX0,0＝(56*aX0,0+8*aX0,1)>>shift2，cX0,0＝(48*aX0,0+16*aX0,1)>>shift2，dX0,0＝(40*aX0,0+24*aX0,1)>>shift2，eX0,0＝(32*aX0,0+32*aX0,1)>>shift2，fX0,0＝(24*aX0,0+40*aX0,1)>>shift2，gX0,0＝(16*aX0,0+48*aX0,1)>>shift2，hX0,0＝(8*aX0,0+56*aX0,1)>>shift2，其中对于标记有bX0,0、cX0,0、dX0,0、eX0,0、fX0,0、gX0,0和hX0,0的样本，X分别被b、c、d、e、f、g和h代替，且其中shift1等于所述相应样本的位深度减8，且shift2等于6。12.根据权利要求8所述的方法，其中：所述当前图片在第一视图中，所述第二参考图片和所述第三参考图片两者在不同于所述第一视图的第二视图中，所述当前块的所述运动向量是所述当前块的时间运动向量，所述第三参考图片的图片次序计数POC值等于所述当前图片的POC值，所述方法进一步包括：确定所述第一参考图片，其中所述第一参考图片的POC值等于所述第二参考图片的POC值，所述第一参考图片的所述POC值和所述第二参考图片的所述POC值不同于所述当前图片的所述POC值；以及基于所述当前块的视差向量确定所述第三参考图片中的所述第三参考块的位置，且确定所述第二参考块的所述位置包括确定所述...

【专利技术属性】
技术研发人员：陈颖，张莉，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US