多视图或3维视频译码中的视图间残余预测制造技术

一种视频译码器按比例缩放当前图片的当前预测单元PU的运动向量以便补偿时间距离的差。另外，所述视频译码器确定所述当前PU的预测性块，基于视差参考图片的在由所述当前PU的视差向量指示的位置处的样本确定视差参考块，且基于固定参考图片的在由所述经按比例缩放运动向量指示的位置处的样本确定所述当前PU的时间视差参考块。所述视频译码器随后确定所述当前PU的残余预测符。所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。

【技术实现步骤摘要】
【国外来华专利技术】多视图或3维视频译码中的视图间残余预测本申请案主张2013年3月8日申请的第61/775,352号美国临时专利申请案、2013年3月19日申请的第61/803,368号美国临时专利申请案以及2013年6月7日申请的第61/832,623号美国临时专利申请案的权益，以上申请案中的每一者的整个内容以引入的方式并入本文中。
本专利技术涉及视频编码和解码。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成块。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的块进行编码。图片的经帧间译码(P或B)切片中的块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余系数，接着可以对残余系数进行量化。可扫描最初布置为二维阵列的经量化的系数，以便产生系数的一维向量，且可应用熵译码以实现更多压缩。可例如从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可传输左眼及右眼视图以支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。
技术实现思路
一般来说，本专利技术涉及用于多视图编解码器和基于2维编解码器的3维视频(3DV)编解码器的高级残余预测，例如高效率视频译码(HEVC)。根据本专利技术的技术，视频译码器按比例缩放当前图片的当前预测单元(PU)的运动向量以便补偿固定参考图片与时间参考图片之间的时间距离。另外，视频译码器确定当前PU的预测性块，基于在由当前PU的视差向量指示的位置处的视差参考图片的样本而确定视差参考块，且基于在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的固定参考图片的样本而确定当前PU的时间视差参考块。所述视频译码器随后确定所述当前PU的残余预测符。所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。在一个实例中，本专利技术描述一种对视频数据进行解码的方法，所述方法包括：按比例缩放当前图片的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；以及基于用信号表示的残余块、所述当前PU的所述残余预测符以及所述当前PU的所述预测性块重构译码块。在另一个实例中，本专利技术描述一种对视频数据进行编码的方法，所述方法包括：按比例缩放当前图片的当前译码单元(CU)的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；确定所述当前CU的最终残余块，其中所述最终残余块包括指示所述当前CU的译码块中的样本、所述当前PU的所述预测块中的样本和所述当前PU的所述残余预测符中的样本之间的差异的样本；以及在位流中包含表示所述当前CU的所述最终残余块的数据。在另一个实例中，本专利技术描述一种视频译码装置，其包括：存储器，其存储参考图片；以及一或多个处理器，其经配置以：按比例缩放当前图片的当前译码单元(CU)的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；以及确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。在另一个实例中，本专利技术描述一种视频译码装置，其包括：用于按比例缩放当前图片的当前译码本文档来自技高网...

【技术保护点】
一种对视频数据进行解码的方法，所述方法包括：按比例缩放当前图片的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；以及基于用信号表示的残余块、所述当前PU的所述残余预测符以及所述当前PU的所述预测性块重构译码块。

【技术特征摘要】
【国外来华专利技术】2013.03.08 US 61/775,352;2013.03.19 US 61/803,368;1.一种由视频解码器执行的对视频数据进行解码的方法，所述方法包括：按比例缩放当前图片的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与参考视图中的固定参考图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在所述参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的样本确定所述当前PU的时间视差参考块，所述时间视差参考块的左上位置与由所述当前PU的左上位置、所述当前PU的经按比例缩放运动向量和所述视差向量的总和指示的位置相关联；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；以及基于用信号表示的残余块、所述当前PU的所述残余预测符以及所述当前PU的所述预测性块重构译码块。2.根据权利要求1所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述固定参考图片外的参考图片，以基于与所述当前图片的所述参考图片列表相关联的运动向量和所述相应PU的所述视差向量确定所述相应PU的时间视差参考块。3.根据权利要求1所述的方法，其中：所述固定参考图片是第一固定参考图片，所述当前图片的所述参考图片列表是所述当前图片的第一参考图片列表，所述时间参考图片是第一时间参考图片，所述时间视差参考块是第一时间视差参考块，且所述当前PU的所述运动向量是所述当前PU的第一运动向量，所述第一固定参考图片的图片次序计数POC值匹配于所述当前图片的所述第一参考图片列表中的参考图片的POC值，第二固定参考图片的POC值匹配于所述当前图片的第二参考图片列表中的参考图片的POC值，且所述方法进一步包括按比例缩放所述当前PU的第二运动向量以便补偿所述第二固定参考图片与第二时间参考图片之间的时间距离，其中所述当前PU的第二参考索引指示所述第二时间参考图片在所述当前图片的所述第二参考图片列表中的位置；且其中确定所述当前PU的所述时间视差参考块包括：基于所述第一固定参考图片的在由所述经按比例缩放第一运动向量指示的位置处的样本确定第一预测性时间视差参考块；基于所述第二固定参考图片的在由所述经按比例缩放第二运动向量指示的位置处的样本确定第二预测性时间视差参考块；以及基于所述第一和第二预测性时间视差参考块确定所述当前PU的所述时间视差参考块。4.根据权利要求3所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述第二固定参考图片外的参考图片，以基于所述当前PU的所述经按比例缩放第二运动向量和所述当前PU的所述视差向量确定所述相应PU的时间视差参考块。5.根据权利要求1所述的方法，其中确定所述当前PU的所述预测性块包括基于经指派参考图片的与由所述经按比例缩放运动向量指示的位置相关联的样本确定所述预测性块，其中所述经指派参考图片的图片次序计数POC值匹配于所述固定参考图片的POC值且所述经指派参考图片在与所述当前图片相同的视图中。6.根据权利要求1所述的方法，其中所述固定参考图片具有匹配于所述当前图片的所述参考图片列表中的参考图片的图片次序计数POC值的POC值。7.根据权利要求1所述的方法，其进一步包括：确定在所述当前视图中的经指派图片；当所述视差参考图片的参考图片列表包含具有与所述经指派图片相同的POC值的特定参考视图图片时，将所述固定参考图片设定为所述特定参考视图图片，其中以下准则中的一者表征所述经指派图片：所述经指派图片具有所述当前图片的所述参考图片列表中的最小参考图片索引；所述经指派图片的所述POC值比所述当前图片的所述参考图片列表中的任何其它参考图片的POC值更接近于所述当前图片的POC值；所述经指派图片的时间识别符低于所述当前图片的所述参考图片列表中的任何其它参考图片的时间识别符；所述经指派图片的量化参数是所述当前PU的所述参考图片列表中的参考图片当中的最低量化参数；以及所述经指派图片是在切片标头、图片参数集或视频参数集中用信号表示。8.根据权利要求7所述的方法，其进一步包括当所述视差参考图片的所述参考图片列表并不包含具有与所述经指派图片相同的POC值的任何参考图片时，将所述固定参考图片设定为所述视差参考图片的所述参考图片列表中的另一图片。9.根据权利要求1所述的方法，其中所述固定参考图片满足以下准则中的一者：所述固定参考图片具有所述视差参考图片的参考图片列表中的最小参考图片索引；所述固定参考图片的POC值比属于所述参考视图的任何其它参考图片的POC值更接近于所述当前图片的POC值；所述固定参考图片的时间识别符低于所述参考视图的任何其它参考图片的时间识别符；以及所述固定参考图片的量化参数低于所述参考视图的任何其它参考图片的量化参数。10.根据权利要求1所述的方法，其中所述方法进一步包括执行基于相邻块的视差向量NBDV导出过程以确定所述当前PU的所述视差向量，且其中所述固定参考图片具有等于在所述NBDV导出过程中第一或第二个使用的候选图片的POC值的POC值。11.根据权利要求1所述的方法，其中所述方法进一步包括在按比例缩放所述运动向量之后，将所述当前PU的所述经按比例缩放运动向量舍入到整数精度；且其中确定所述时间视差参考块包括基于所述经舍入的经按比例缩放运动向量和所述视差参考块的位置确定所述当前PU的所述残余预测符。12.根据权利要求1所述的方法，其中确定所述当前PU的所述预测性块包括将双线性滤波器应用于所述时间参考图片的明度和色度分量。13.根据权利要求1所述的方法，其中确定所述当前PU的所述预测性块包括将双线性滤波器应用于所述时间参考图片的明度或色度分量中的仅一者。14.一种由视频编码器执行的对视频数据进行编码的方法，所述方法包括：按比例缩放当前图片的当前译码单元CU的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与参考视图中的固定参考图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在所述参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的样本确定所述当前PU的时间视差参考块，所述时间视差参考块的左上位置与由所述当前PU的左上位置、所述当前PU的经按比例缩放运动向量和所述视差向量的总和指示的位置相关联；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；确定所述当前CU的最终残余块，其中所述最终残余块包括指示所述当前CU的译码块中的样本、所述当前PU的预测块中的样本和所述当前PU的所述残余预测符中的样本之间的差异的样本；以及变换所述最终残余块中的样本以产生变换系数。15.根据权利要求14所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述固定参考图片外的参考图片，以基于与所述当前图片的所述参考图片列表相关联的运动向量和所述相应PU的所述视差向量确定所述相应PU的时间视差参考块。16.根据权利要求14所述的方法，其中：所述固定参考图片是第一固定参考图片，所述当前图片的所述参考图片列表是所述当前图片的第一参考图片列表，所述时间参考图片是第一时间参考图片，所述时间视差参考块是第一时间视差参考块，且所述当前PU的所述运动向量是所述当前PU的第一运动向量，所述第一固定参考图片的图片次序计数POC值匹配于所述当前图片的所述第一参考图片列表中的参考图片的POC值，第二固定参考图片的POC值匹配于所述当前图片的第二参考图片列表中的参考图片的POC值，且所述方法进一步包括按比例缩放所述当前PU的第二运动向量以便补偿所述第二固定参考图片与第二时间参考图片之间的时间距离，其中所述当前PU的第二参考索引指示所述第二时间参考图片在所述当前图片的所述第二参考图片列表中的位置；以及其中确定所述当前PU的所述时间视差参考块包括：基于所述第一固定参考图片的在由所述经按比例缩放第一运动向量指示的位置处的样本确定第一预测性时间视差参考块；基于所述第二固定参考图片的在由所述经按比例缩放第二运动向量指示的位置处的样本确定第二预测性时间视差参考块；以及基于所述第一和第二预测性时间视差参考块确定所述当前PU的所述时间视差参考块。17.根据权利要求16所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述第二固定参考图片外的参考图片，以基于所述当前PU的所述经按比例缩放第二运动向量和所述当前PU的所述视差向量确定所述相应PU的时间视差参考块。18.根据权利要求14所述的方法，其中确定所述当前PU的所述预测性块包括基于经指派参考图片的与由所述经按比例缩放运动向量指示的位置相关联的样本确定所述预测性块，其中所述经指派参考图片的图片次序计数POC值匹配于所述固定参考图片的POC值且所述经指派参考图片在与所述当前图片相同的视图中。19.根据权利要求14所述的方法，其中所述固定参考图片具有匹配于所述当前图片的所述参考图片列表中的参考图片的图片次序计数POC值的POC值。20.根据权利要求14所述的方法，其进一步包括：确定在所述当前视图中的经指派图片；当所述视差参考图片的参考图片列表包含具有与所述经指派图片相同的POC值的特定参考视图图片时，将所述固定参考图片设定为所述特定参考视图图片，其中以下准则中的一者表征所述经指派图片：所述经指派图片具有所述当前图片的所述参考图片列表中的最小参考图片索引；所述经指派图片的所述POC值比所述当前图片的所述参考图片列表中的任何其它参考图片的POC值更接近于所述当前图片的POC值；所述经指派图片的时间识别符低于所述当前图片的所述参考图片列表中的任何其它参考图片的时间识别符；所述经指派图片的量化参数是所述当前PU的所述参考图片列表中的参考图片当中的最低量化参数；以及所述经指派图片是在切片标头、图片参数集或视频参数集中用信号表示。21.根据权利要求20所述的方法，其进一步包括当所述视差参考图片的所述参考图片列表并不...

【专利技术属性】
技术研发人员：张莉，陈颖，马尔塔·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US