3D视频译码中的大型块和深度建模模式(DMM)制造技术

在一些实例中，一种在视频译码过程中解码深度数据的方法包含定义深度译码单元CU内的大小大于32×32的深度预测单元PU，和产生所述深度PU的一或多个分割区。所述方法也包含获得用于所述分割区中的每一者的残余数据；获得用于所述分割区中的每一者的预测数据；和基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。

【技术实现步骤摘要】
【国外来华专利技术】本申请案主张2013年12月16日申请的第61/916,780号美国临时申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
本专利技术涉及视频译码，且更明确地说涉及三维(3D)视频译码的深度建模模式(DMM)。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准和这些标准的扩展中所描述的视频压缩技术。视频装置可以通过实施这些视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，图片或图片的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码的。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了进一步压缩，可将残余数据从空间域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描一开始按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。可通过(例如)从多个视角编码视图来产生多视图译码位流。多视图译码可允许解码器选择不同视图，或可能显现多个视图。另外，已经开发或正在开发的一些三维(3D)视频技术和标准利用多视图译码方面。举例来说，在一些3D视频译码过程中，不同视图可用以发射左眼和右眼视图以支持3D视频。其它3D视频译码过程可使用多视图加深度译码。在多视图加深度译码过程(例如由HEVC的3D-HEVC扩展定义的过程)中，3D视频位流可含有不仅包含纹理视图分量而且包含深度视图分量的多个视图。举例来说，给定视图可包括纹理视图分量和深度视图分量。纹理视图和深度视图分量可用以建构3D视频数据。
技术实现思路
一般来说本专利技术的技术涉及使用深度建模模式(DMM)译码64×64样本或更大大小译码单元(CU)的深度图。用于框内译码深度图的DMM技术可将深度图的深度块分割成由特定DMM样式指定的两个或两个以上区域。特定分割区中的每一深度值可基于用于分割区的帧内预测模式经帧内预测，其指示另一深度译码单元(CU)中的预测子。将DMM技术应用于逐渐较大的PU大小可导致在确定特定DMM样式以分割深度块时的处理复杂度及/或存储要求增大。在一些实例中，本专利技术的技术可通过减小此处理复杂度及/或存储要求而改善用于帧内译码深度图的DMM技术的译码性能。本专利技术的技术可应用于视频译码标准和此类标准的扩展。在一个实例中，在视频译码过程中解码深度数据的方法包含：定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)；产生深度PU的一或多个分割区；获得用于分割区中的每一者的残余数据；获得用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。在一个实例中，用于译码视频数据的装置包含存储一或多个分割区样式的视频数据存储器，其中所述装置经配置以：定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)；产生深度PU的一或多个分割区；确定用于分割区中的每一者的残余数据；确定用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。在一个实例中，一种设备用于译码数据，所述设备包含：用于定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)的装置；用于产生深度PU的一或多个分割区的装置；用于获得用于分割区中的每一者的残余数据的装置；用于产生用于分割区中的每一者的预测数据的装置；和用于基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区的装置。在一个实例中，计算机程序产品包括上面存储有指令的计算机可读存储媒体，所述指令在经执行时引起用于译码视频数据的装置的处理器进行以下操作：定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)；产生深度PU的一或多个分割区；确定用于分割区中的每一者的残余数据；确定用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。在附图和以下描述中阐述本专利技术的一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及从权利要求书而显而易见。附图说明图1是说明可利用用于深度译码的本专利技术的技术的实例视频编码和解码系统的框图。图2大体说明与方向性帧内预测模式相关联的预测方向。图3A和3B是说明深度建模模式(DMM)的实例的概念图。图4A至4F是说明分割区样式的实例的概念图。图5是说明可实施用于深度译码的技术的视频编码器的实例的框图。图6是说明可实施用于深度译码的技术的视频解码器的实例的框图。图7是说明编码视频数据的实例方法的流程图。图8是说明使用DDM4编码视频数据的实例方法的流程图。图9A至9B是说明使用楔波扩展技术产生和用信号发送大于32×32的楔波分割区样式的概念图。图10是说明解码视频数据的实例方法的流程图。具体实施方式在三维(3D)视频译码中，例如，根据3D-HEVC(高效率视频译码)标准，使用多视图视频加深度格式来表示3D视频数据，其中所捕获的视频数据(也被称作纹理视图的纹理分量)与深度视图的对应深度图相关联。举例来说，纹理视图的纹理分量表示视频内容，且对应于纹理分量的深度分量提供表示纹理分量中的像素的相对深度的深度图。视频编码器经配置以编码纹理分量和深度图且将其编码成3D视频本文档来自技高网...

【技术保护点】
一种在视频译码过程中解码深度数据的方法，所述方法包括：定义深度译码单元CU内的大小大于32×32的深度预测单元PU；产生所述深度PU的一或多个分割区；获得用于所述分割区中的每一者的残余数据；获得用于所述分割区中的每一者的预测数据；以及基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。

【技术特征摘要】
【国外来华专利技术】2013.12.16 US 61/916,780;2014.12.12 US 14/569,1261.一种在视频译码过程中解码深度数据的方法，所述方法包括：
定义深度译码单元CU内的大小大于32×32的深度预测单元PU；
产生所述深度PU的一或多个分割区；
获得用于所述分割区中的每一者的残余数据；
获得用于所述分割区中的每一者的预测数据；以及
基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。
2.根据权利要求1所述的方法，其中产生所述深度PU的所述一或多个分割区包括：
存储包括多个不同分割区样式的样式列表，其中每一相应分割区样式通过相应分割区
样式索引识别；
基于分割区样式索引从所述样式列表选择分割区样式；以及
将所选分割区样式应用于所述深度PU以产生所述一或多个分割区。
3.根据权利要求1所述的方法，其中所述深度PU具有大小64×64。
4.根据权利要求2所述的方法，其中所述多个不同分割区样式包含至少一个楔波分割
区样式，其中存储包括所述多个分割区样式的样式列表进一步包括：
基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不
同分割区样式；
使所述多个不同分割区样式中的每一相应分割区样式与相应索引值关联；以及
将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中。
5.根据权利要求4所述的方法，其中基于所述深度PU的所述至少两个不同开始位置和
所述至少两个不同结束位置确定所述多个不同分割区样式进一步包括：
使用半样本、全样本、两个样本、三个样本或四个样本的分辨率连接所述两个不同开始
位置中的至少一者与所述两个不同结束位置中的至少一者。
6.根据权利要求2所述的方法，其中N为32或32以下，其中所述分割区样式为N×N分割
区样式，所述方法进一步包括：
将所述N×N分割区样式上取样到分割区样式，其中所述分割区样式为应用于所述深度
PU的所选分割区样式。
7.根据权利要求1所述的方法，其中产生所述深度PU的一或多个分割区进一步包括：
接收识别所述深度PU内的子PU的信息，其中所述子PU的大小小于所述深度PU的大小；
将用于所述子PU的分割区样式的线性线延长到所述深度PU的边界，其中所得线性线定
义用于所述深度PU的分割区样式；以及
基于所述分割区样式确定所述一或多个分割区。
8.根据权利要求1所述的方法，其中产生所述深度PU的一或多个分割区进一步包括：
仅基于水平分割区样式或垂直分割区样式中的至少一者产生所述深度PU的一或多个
分割区。
9.根据权利要求1所述的方法，其中用于所述分割区中的至少一者的所述残余数据包
含使用分段DC译码SDC针对所述分割区中的所述至少一者产生的单一DC残余值。
10.根据权利要求1所述的方法，其中产生所述深度PU的一或多个分割区进一步包括：
确定纹理块中的样本的平均值，所述纹理块包含在纹理图片的第一区域处，且所述第
一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值
确定将所述深度值指派到的所述一或多个分割区中的分割区；以及
将所述深度值指派到所述一或多个分割区中的所述分割区。
11.根据权利要求10所述的方法，其中将所述深度值指派到所述一或多个分割区中的
所述分割区进一步包括：
确定相应深度值在所述深度图内的第一位置；
确定相应样本在所述纹理块中的第二位置，其中所述深度PU中的所述第一位置与所述
纹理块中的所述第二位置处于相同位置；以及
响应于确定所述相应样本大于样本的所述平均值，将所述第一位置的深度值指派到所
述一或多个分割区的第一分割区。
12.一种用于译码视频数据的装置，其包括：
视频数据存储器，其存储一或多个分割区样式，其中所述装置经配置以：
定义深度译码单元CU内的大小大于32×32的深度预测单元PU；
产生所述深度PU的一或多个分割区；
确定用于所述分割区中的每一者的残余数据；
确定用于所述分割区中的每一者的预测数据；以及
基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。
13.根据权利要求12所述的用于译码视频数据的装置，
其中所述视频译码器包括视频解码器，
其中所述视频解码器经配置以：
存储包括多个不同分割区样式的样式列表，其中每一相应分割区样式通过相应分割区
样式索引识别；
基于分割区样式索引从所述样式列表选择分割区样式；以及
将所选分割区样式应用于所述深度PU以产生所述一或多个分割区。
14.根据权利要求13所述的用于译码视频数据的装置，
其中所述视频解码器经配置以：
基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不
同分割区样式；
使所述多个不同分割区样式的每一相应分割区样式与相应索引值关联；以及
将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中。
15.根据权利要求12所述的用于译码视频数据的装置，
其中所述视频译码器包括视频解码器，
其中所述视频解码器经配置以：
确定纹理块中的样本的平均值，所述纹理块包含在纹理图片的第一区域处，且所述第
一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值
确定将所述深度值指派到的所述一或多个分割区中的分割区；以及
将所述深度值指派到所述一或多个分割区的所述分割区。
16.根据权利要求15所述的用于译码视频数据的装置，
其中所述视频解码器经配置以：
确定相应深度值在所述深度图内的第一位置；
确定相应样本在所述纹理块中的第二位置，其中所述深度PU中的所述第一位置与所述
纹理块中的所述第二位置处于相同位置；以及
响应于确定所述相应样本大于样本的所述平均值，将所述...

【专利技术属性】
技术研发人员：赵欣，陈颖，张莉，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US