在三维视频编码系统中的纹理图像处理方法及装置制造方法及图纸

本发明专利技术提供一种在三维视频编码系统中的纹理图像处理方法。该在三维视频编码系统中的纹理图像处理方法包括，取得关于深度图的深度信息，其中深度图与纹理图像有关；以及然后基于取得的深度信息处理纹理图像。本发明专利技术所提供的在三维视频编码系统中的纹理图像处理方法，可改善编码效率。

【技术实现步骤摘要】
【国外来华专利技术】在三维视频编码系统中的纹理图像压缩方法及装置交叉引用本申请享有2011年6月15日提出的申请号为61/497，441、标题为“Method ofcompressing texture images using depth maps in3D video coding”的美国临时申请的优先权。上述申请的全文作为本申请的引用基础。
本专利技术有关于视频编码，特别有关于在三维视频编码系统中纹理图像的压缩。
技术介绍
三维(3D)电视以带给观看者绝妙的观看体验为目的，并于近年来成为技术发展的趋势。目前已开发各种技术以使观看3D电视成为可能。在这些技术中，多视点视频与的其他应用一样是三维电视应用的关键技术。传统的视频是仅提供单一视点的场景的二维(2D)媒体，其中场景的单一视点来自摄影机的透镜。然而，多视点视频能够提供任意视点(viewpoint)的动态场景并提供观看者真实的感受。通常通过同时使用多个摄影机捕获场景来产生多视点视频，其中适当放置多个摄影机以使得每一个摄影机从一个视点来捕获场景。相应地，多个摄影机可以捕获对应于多个视点的多个视频片段(video sequence)0为了提供更多视点，可以使用更多摄影机以产生具有与视点有关的很多视频片段的多视点视频。相应地，多视点视频将要求用于存储的大的存储空间及/或用于传送的高带宽。因此，已经在应用领域中开发多视点视频编码技术来降低需要的存储空间或传送的带宽。一个简单的途径是仅仅独立地应用传统的视频编码技术至每一个单一的视点视频片段并忽视不同视点之间的任何相关性。为了改善多视点视频编码效率，典型的多视点视频编码通常利用视点间(inter-view)冗余(redundancy)。在视点间的关联用于在3D视频编码中改善纹理图像(texture image)的编码效率时，在纹理图像和深度图(depth map)之间的关联也很重要。利用纹理图像和深度图之间的关联有益于进一步改善纹理图像压缩的编码效率。此外，在现有的高效效率编码标准(例如，H.264/AVC)或新兴的(emerging)高效率视频编码(High Efficiency VideoCoding, HEVC)系统的基础上，需要开发改善编码效率的纹理图像压缩方案。
技术实现思路
本专利技术提出一种在三维视频编码系统中的纹理图像压缩方法及装置。根据本专利技术的实施方式，首先取得关于深度图的深度信息，其中深度图与纹理图像相对应；以及然后基于取得的深度信息处理纹理图像。本专利技术可以应用于编码器和解码器。深度信息可以包括深度数据和分割信息。可以自包括当前的视点的第一压缩深度图的第一比特流解码而取得深度图；或自包括其他视点的第二压缩深度图的第二比特流解码而取得深度图；或自解码的纹理图像取得深度图。深度图和纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的。根据在比特流中与纹理图像有关的标志选择块式交织或图片式交织。进一步地，标志包含于片段级、图片级、切片级、或块级中。本专利技术的一方面与基于深度图的深度信息分割纹理图像有关。其中纹理图像被分割为多个纹理块，以及其中基于深度图的深度信息分割纹理图像的当前的纹理块。纹理块为任意形状或长方形。基于深度图的对应的块的深度信息确定是否分割纹理图像的当前的纹理块为多个子块。基于深度图的对应的块的深度信息确定多个子块的形状。使用标志指示深度图的对应的块的深度信息是否用于分割纹理图像的当前的纹理块为子块。基于深度图的深度信息确定是否将纹理图像的当前的纹理块与纹理图像的另一个纹理块合并。依据本专利技术另一实施方式，纹理图像被分割为多个纹理块，以及纹理图像的纹理块的运动信息自另一个视点中的对应的纹理块的运动信息而取得。基于在当前的视点中的深度图取得对应的纹理块的位置。运动信息包括运动向量、参考图片索引、区域分割、预测方向、和预测模式。依据本专利技术另一实施方式，基于深度信息分类纹理图像有关的多个运动向量，以确定纹理图像的预测模式。对于通过深度信息指示的在纹理图像中对应于近处的物体的区域更适合选择空间运动向量预测值，以及通过深度信息指示的在纹理图像中对应于远处的物体的区域更适合选择时间或视点间预测的运动向量预测值。本专利技术的另一方面与运动向量或运动向量预测值处理有关。依据本专利技术一实施方式，基于深度信息分类冗余去除纹理图像的多个运动向量预测值。从运动向量预测值候选清单中移除一个或多个多余的候选运动向量预测值；以及在运动向量预测值候选清单中，移除由深度信息指示的、与纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值；或在运动向量预测值候选清单中，将由深度信息指示的，与纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值指定较低的优先权。确定运动模型以取得纹理图像的运动向量，其中运动模型是依据深度图来确定。在纹理图像中对应于远处的物体的区域根据平移模型取得运动向量，以及在纹理图像中对应于近处的物体的区域根据透视模型取得运动向量。依据本专利技术另一实施方式，基于另一个视点中的对应的纹理图像的对应的区域的模式确定纹理图像的当前的区域的模式。对应的区域的位置是自当前的区域的位置、以及与纹理图像相关的深度图与在另一视点中与对应的纹理图像相关的深度图之间的位置对应关系而取得。模式包括分割、帧间预测/帧内预测模式、以及跳跃模式。【附图说明】图1为根据本专利技术实施方式的利用深度信息压缩纹理图像的示意图。图2为将纹理图像和深度图分割为块的示意图，其中处理顺序为图片式或块式。图3为取得深度信息以用于纹理图像压缩的方法的示意图。图4为根据深度图的区域分割取得对应纹理图像的区域分割的示意图。图5为利用两个深度图之间的对应关系来对纹理图像编码的运动向量预测过程的示意图。【具体实施方式】本专利技术的实施方式提供一种在3D视频编码系统(3D video coding system)中编码和解码纹理图像的方法和装置。根据本专利技术的实施方式，编码和解码纹理图像利用对应的深度图的信息。使用纹理图像和深度图之间的相关性来改善纹理图像压缩的编码效率。根据本专利技术的一个实施方式，在处理各自的纹理图像之前编码深度图。因此，纹理图像压缩可以利用与深度图有关的深度信息(cbpth information) 0深度信息可以包括深度数据(depth data)和分割信息(partition information)。由于典型的编码系统常将深度图分割为多个块(block)或多个区域(region)并以块或区域为基础应用编码进程(encoding process),因此,分割信息通常产生于深度图的编码进程中。深度图和纹理的编码顺序可以为图片式(picture-wise)或块式(block-wise)。图1为利用深度图的深度信息压缩纹理图像的示意图。在纹理图像110中的当前块112的压缩可以利用来自对应的深度图120的信息。在深度图120中对应于当前块112的块122可以被识别。由于在处理纹理图像110中的当前块112之前可获得(available)对应的块122的信息，对应的块122的深度信息可以用于当前块112的压缩以改善编码效率。虽然图1的实施方式说明深度图中一个对应的块用于当前块112的压缩，但是只要在处理当前块之前已知深度图中本文档来自技高网...

【技术保护点】
一种在三维视频编码系统中的纹理图像压缩方法，其特征在于，包括：取得关于深度图的深度信息的步骤，其中该深度图与纹理图像相对应；以及基于取得的该深度信息编码或解码该纹理图像的步骤。

【技术特征摘要】
【国外来华专利技术】2011.06.15 US 61/497,4411.一种在三维视频编码系统中的纹理图像压缩方法，其特征在于，包括: 取得关于深度图的深度信息的步骤，其中该深度图与纹理图像相对应；以及 基于取得的该深度信息编码或解码该纹理图像的步骤。2.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该深度信息包括深度数据和分割信息。3.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，对于解码器这边， 自包括当前的视点的第一压缩深度图的第一比特流解码而取得该深度图的步骤；或 自包括其他视点的第二压缩深度图的第二比特流解码而取得该深度图的步骤；或 自解码的纹理图像取得该深度图的步骤。4.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 该深度图和该纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的。5.根据权利要求4所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，根据在比特流中与该纹理图像有关的标志选择该块式交织或该图片式交织。6.根据权利要求5所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该标志包含于片段级、图片级、切片级、或块级中。7.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该纹理图像被分割为多个纹理块，其中基于该深度图的该深度信息分割该纹理图像的当前纹理块。8.根据权利要求7所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该多个纹理块为任意形状或长方形。9.根据权利要求7所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 基于该深度图的对应的当前块的该深度信息确定是否分割该纹理图像的该当前的纹理块为多个子块。10.根据权利要求9所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 基于该深度图的对应的当前块的该深度信息确定该多个子块的形状。11.根据权利要求9所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 使用标志指示该深度图的对应的当前块的该深度信息是否用于分割该纹理图像的该当前的纹理块为该多个子块。12.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 该纹理图像被分割为多个纹理块，以及 基于该深度图的该深度信息确定是否将该纹理图像的当前的纹理块与该纹理图像的另一个纹理块合并。13.根据权利要求12所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，使用标志来指示是否使能合并模式。14.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 该纹理图像被分割为多个纹理块，以及 该纹理图像的纹理块的运动信息自另一个视点中的对应的纹理块的运动信息而取得，或自该深度图的对应的深度块的运动信息而取得。15.根据权利要求14所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，基于在当前的视点中的该深度图取得该对应的纹理块的位置。16.根据权利要求14所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该运动信息包括运动向量、参考图片索引、区域分割、预测方向、和预测模式。17.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该编码或解码该纹理图像的步骤包括: 基于该深度信息分类该纹理图像有关的多个运动向量，以确定该纹理图像的预测模式。18.根据权利要求17所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 对于通过该深度信息指示的在该纹理图像中对应于近处的物体的第一区域更适合选择空间运动向量预测值，以及 对于通过该深度信息指示的在该纹理图像中对应于远处的物体的第二区域更适合选择时间或视点间预测的运动向量预测值。19.根据权利要求1所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于，该编码或解码该纹理图像的步骤包括: 基于该深度信息分类冗余去除该纹理图像的多个运动向量预测值。20.根据权利要求19所述的在三维视频编码系统中的纹理图像压缩方法，其特征在于， 从运动向量预测值候选清单中移除...

【专利技术属性】
技术研发人员：张毓麟，向时达，吴其玲，傅智铭，陈嘉平，蔡玉宝，黄毓文，雷少民，
申请(专利权)人：联发科技股份有限公司，
类型：
国别省市：