3D视频编码设备和方法技术

本发明专利技术涉及一种用于解码3D视频数据的装置(200)，该3D视频数据包括多个纹理帧和多个相关深度图，该装置(200)包括：第一纹理解码器(201a)，用于对与第一视图相关联的第一纹理帧的视频编码块进行解码；第一深度图解码器(201a)，用于对与所述第一纹理帧相关联的第一深度图的视频编码块进行解码；深度图滤波器(219b)，用于基于所述第一深度图生成辅助深度图；第一视图合成预测单元(221b)，用于基于所述第一纹理帧的视频编码块和所述辅助深度图生成与第二视图相关联的视图合成预测第二纹理帧的预测视频编码块；第二视图合成预测单元(217b)，用于基于所述第一深度图生成视图合成预测第二深度图的预测视频编码块，其中，所述视图合成预测第二深度图与所述视图合成预测第二纹理帧相关联。

3D Video Coding Equipment and Method

The invention relates to a device (200) for decoding 3D video data, which includes multiple texture frames and multiple correlation depth maps. The device (200) includes: a first texture decoder (201a) for decoding the video coding block of the first texture frame associated with the first view; and a first depth map decoder (201a) for the first texture frame associated with the first texture frame. A depth map video coding block is decoded; a depth map filter (219b) is used to generate an auxiliary depth map based on the first depth map; a first view synthesis prediction unit (221b) is used to generate a prediction video coding block based on the video coding block of the first texture frame and the auxiliary depth map associated with the second view to synthesize a prediction second texture frame; and a second view is used to generate a prediction video coding block based on the first texture frame and the auxiliary depth map. A synthetic prediction unit (217b) is used to generate a predictive video coding block of a view synthesis prediction second depth map based on the first depth map, in which the view synthesis prediction second depth map is associated with the view synthesis prediction second texture frame.

【技术实现步骤摘要】
【国外来华专利技术】3D视频编码设备和方法
本专利技术总体涉及视频编码领域。更具体地说，本专利技术涉及一种3D视频数据编码装置和一种3D视频数据解码装置，以及相应的方法。
技术介绍
在3D视频编码中，必须对纹理帧的多个序列进行编码，这种编码具有至少两种不同的场景视图。已知的3D-HEVC标准仅支持针对共面相机布置的基于块的视图合成预测，即来自单个平面内位置的视图。对于非共面相机布置，所有块在不同视图间移动了相同视差的假设不再成立。在这种情况下，每个像素可以在视图之间产生不同的移动，因此传统的视图合成预测方法会失败。为此，建议直接使用基于像素的深度图，而不用从中得到的块向量。然而，为输出视图合成而优化的估计深度图和编码深度图往往不够一致。因此，在利用基于像素的深度图进行视图合成预测之前，必须将深度图增强，这种增强实现为层间滤波。在当前基于深度图的方法中，一个场景的几个视图的视频序列包含以纹理帧形式存在的纹理数据和以相应深度图形式存在的深度图数据。一般来说，若相机参数随时间变化，每个视图和每个帧都已知这些参数，如校准矩阵和与世界坐标系的关系等。使用3D扭曲可以将不同的视图相互映射。由于在扭曲的视图中可能会出现阻塞，因此这种映射经常是不完美的。例如，假设名为“视图0”的视图扭曲为示图“视图1”。将“视图0”记为参考视图，并将“视图1”记为目标视图或依赖视图。然后，对于未阻塞部分，扭曲后的视图“扭曲0”为“视图1”的良好的预测块。因此，将“扭曲0”包含在用于预测“视图1”的参考图像列表中，可以提高编码性能。这在纹理帧和深度图中都适用。深度图的质量对于视图到视图的3D扭曲十分重要。通常，深度图必须通过一种算法来估计，该算法中只有纹理和相机参数可用。因此，所得到的深度图容易出错。例如，纹理帧中平坦但纹理强的区域可能导致估计深度图的表面不均匀。当上述示例中的深度图用于将纹理帧从“视图0”扭曲为“视图1”时，这种不均匀性会导致“扭曲0”不一致。这会影响编码器选择的用于预测“扭曲0”中的“视图0”的区域的数量。因此，需要使用深度图对3D视频数据进行编码和解码的设备和方法。
技术实现思路
本专利技术旨在提供使用深度图对3D视频数据进行编码和解码的改进的设备和方法。上述和其它目的通过独立权利要求的主题来实现。进一步的实施形式在从属权利要求、具体说明和附图中显而易见。根据第一方面，本专利技术涉及一种解码3D视频数据的装置，该3D视频数据包括多个纹理帧和多个相关深度图，每个纹理帧和每个深度图可分为多个视频编码块。该装置包括第一纹理解码器，用于对与第一视图相关联的第一纹理帧的视频编码块进行解码；第一深度图解码器，用于对与所述第一纹理帧相关联的第一深度图的视频编码块进行解码；深度图滤波器，用于基于所述第一深度图生成辅助深度图；第一视图合成预测单元，用于基于所述第一纹理帧的视频编码块和所述辅助深度图生成与第二视图相关联的视图合成预测第二纹理帧的预测视频编码块；第二视图合成预测单元，用于基于所述第一深度图生成视图合成预测第二深度图的预测视频编码块，其中，所述视图合成预测第二深度图与所述视图合成预测第二纹理帧相关联。为此，提供了一种使用深度图对3D视频编码进行解码的改进的装置。视频编码块可以为宏块、编码树单元、编码单元、预测单元和/或预测块。每个视频编码块都包括多个像素。此处使用的术语“深度图”用于覆盖任何类型的提供距离的距离信息的地图或帧，例如距离图或视差图。第一纹理帧解码器和第一深度图解码器可以由包括一个或多个处理块的单元实现，用于生成第一纹理帧和第一深度图，例如重构的纹理帧和重构的深度图。在根据第一方面所述的装置的第一种可能的实现方式中，所述装置还包括第二纹理解码器，用于基于所述视图合成预测第二纹理帧的预测视频编码块，对与所述第二视图相关联的第二纹理帧的视频编码块进行解码；第二深度图解码器，用于基于所述视图合成预测第二深度图的预测视频编码块，对与所述第二纹理帧相关联的所述第二深度图的视频编码块进行解码。第二纹理帧解码器和第二深度图解码器可以由包括一个或多个处理逻辑的单元实现，用于生成第一纹理帧和第一深度图，例如重构的纹理帧和重构的深度图。在根据第一方面或第一种实现方式所述装置的第二种可能的实现方式中，所述深度图滤波器用于检测所述第一深度图中的至少一个边缘，并且基于所述至少一个边缘附近的所述第一深度图的像素生成所述辅助深度图。在根据第一方面的第二种实现方式的装置的第三种可能的实现方式中，所述深度图滤波器用于通过检测所述第一深度图中的至少一个像素来检测所述第一深度图中的至少一个边缘，其中，所述至少一个像素附近的所述第一深度图的像素的深度值的均值方差大于阈值。在根据第一方面的第二种或第三种实现方式的装置的第四种可能的实现方式中，所述深度图滤波器用于生成所述辅助深度图作为边界值问题的解，其中，所述第一深度图中的所述至少一个边缘定义所述边界值问题的边界。在另一个实现方式中，第二纹理解码器用于通过解码与第二视图相关联的输入的第二纹理帧的视频编码块和第二纹理帧的预测视频编码块间的编码差，即残差，对与第二视图相关联的第二纹理帧的视频编码块进行解码。根据第二方面，本专利技术涉及一种用于编码3D视频数据的装置，所述3D视频数据包括多个纹理帧和多个相关深度图。该装置包括：第一纹理编码器，用于对与第一视图相关联的第一纹理帧的视频编码块进行编码；第一深度图编码器，用于对与所述第一纹理帧相关联的第一深度图的视频编码块进行编码；深度图滤波器，用于基于所述第一深度图生成辅助深度图；第一视图合成预测单元，用于基于所述第一纹理帧的视频编码块和所述辅助深度图生成与第二视图相关联的视图合成预测第二纹理帧的预测视频编码块；第二视图合成预测单元，用于基于所述第一深度图生成视图合成预测第二深度图的预测视频编码块，其中，所述视图合成预测第二深度图与所述视图合成预测第二纹理帧的预测视频编码块相关联。为此，提供了一种使用深度图对3D视频编码进行编码的改进的装置。视频编码块可以为宏块、编码树单元、编码单元、预测单元和/或预测块。每个视频编码块都包括多个像素。此处使用的术语“深度图”用于覆盖任何类型的提供距离的距离信息的地图或帧，例如距离图或视差图。第一纹理帧编码器和第一深度图编码器可以由包括一个或多个处理块的单元实现，用于生成第一纹理帧和第一深度图，例如重构的纹理帧和重构的深度图。在根据第二方面所述的装置的第一种可能的实现方式中，所述装置还包括第二纹理编码器，用于基于所述视图合成预测第二纹理帧的预测视频编码块，对与所述第二视图相关联的第二纹理帧的视频编码块进行编码；第二深度图编码器，用于基于与所述视图合成预测第二纹理帧的预测视频编码块关联的所述视图合成预测第二深度图的预测视频编码块，对与所述第二纹理帧相关联的第二深度图的视频编码块进行编码。在根据第二方面或第一种实现方式所述装置的第二种可能的实现方式中，所述深度图滤波器用于检测所述第一深度图中的至少一个边缘，并且基于所述至少一个边缘附近的所述第一深度图的像素生成所述辅助深度图。在根据第二方面的第二种实现方式的装置的第三种可能的实现方式中，所述深度图滤波器用于通过检测所述第一深度图中的至少一个像素来检测所述第一深度图中的至少一个边缘，其中，所述至少一个像素附近的所述本文档来自技高网...

【技术保护点】
1.一种用于解码3D视频数据的装置(200)，其特征在于，所述3D视频数据包括多个纹理帧和多个相关的深度图，所述装置(200)包括：第一纹理解码器(201a)，用于对与第一视图相关联的第一纹理帧

【技术特征摘要】
【国外来华专利技术】1.一种用于解码3D视频数据的装置(200)，其特征在于，所述3D视频数据包括多个纹理帧和多个相关的深度图，所述装置(200)包括：第一纹理解码器(201a)，用于对与第一视图相关联的第一纹理帧的视频编码块进行解码；第一深度图解码器(201a)，用于对与所述第一纹理帧相关联的第一深度图的视频编码块进行解码；深度图滤波器(219b)，用于基于所述第一深度图生成辅助深度图第一视图合成预测单元(221b)，用于基于所述第一纹理帧的视频编码块和所述辅助深度图生成与第二视图相关联的视图合成预测第二纹理帧的预测视频编码块；第二视图合成预测单元(217b)，用于基于所述第一深度图生成视图合成预测第二深度图的预测视频编码块，其中，所述视图合成预测第二深度图与所述视图合成预测第二纹理帧相关联。2.根据权利要求1所述的装置(200)，其特征在于，所述装置(200)还包括：第二纹理解码器(201b)，用于基于所述视图合成预测第二纹理帧的预测视频编码块，对与所述第二视图相关联的第二纹理帧的视频编码块进行解码；第二深度图解码器(201b)，用于基于所述视图合成预测第二深度图的预测视频编码块，对与所述第二纹理帧相关联的所述第二深度图的视频编码块进行解码。3.根据上述权利要求中任一项所述的装置(200)，其特征在于，所述深度图滤波器(219b)用于检测所述第一深度图中的至少一个边缘，并且基于所述至少一个边缘附近的所述第一深度图的像素生成所述辅助深度图4.根据权利要求3所述的装置(200)，其特征在于，所述深度图滤波器(219b)用于通过检测所述第一深度图中的至少一个像素来检测所述第一深度图中的至少一个边缘，其中，所述至少一个像素附近的所述第一深度图的像素的深度值的均值方差大于阈值。5.根据权利要求3或4所述的装置(200)，其特征在于，所述深度图滤波器(219b)用于生成所述辅助深度图所述辅助深度图作为边界值问题的解，其中，所述第一深度图中的所述至少一个边缘定义所述边界值问题的边界。6.一种用于编码3D视频数据的装置(100)，其特征在于，所述3D视频数据包括多个纹理帧和多个相关深度图，该装置(100)包括：第一纹理编码器(101a)，用于对与第一视图相关联的第一纹理帧的视频编码块进行编码；第一深度图编码器(101a)，用于对与所述第一纹理帧相关联的第一深度图的视频编码块进行编码；深度图滤波器(119b)，用于基于所述第一深度图生成辅助深度图第一视图合成预测单元(121b)，用于基于所述第一纹理帧的视频编码块和所述辅助深度图生成与第二视图相关联的视图合成预测第二纹理帧的预测视频编码块；第二视图合成预测单元(117b)，用于基于所述第一深度图生成视图合成预测第二深度图的预测视频编码块，其中，所述视图合成预测第二深度图...

【专利技术属性】
技术研发人员：赵志杰，延斯·施耐德，约翰尼斯·索尔斯，麦蒂尔斯·韦恩，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44