3D数字视频信号的后处理方法技术

一种数字视频信号的后处理方法，所述数字视频信号具有多个带有相关联的视差图的视图，其特征在于，所述方法包括从原始视差图生成投影视差图的第一步骤，以及在所述投影视差图内对孔进行填充的第二步骤，所述第一步骤包括通过对所述投影视差图上的孤立投影像素进行第一过滤来消除所述孤立投影像素的子步骤。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种数字视频信号的后处理方法，所述数字视频信号具有多个带有相关联的视差图(disparity map)的视图。所述方法例如可以用于MPEG标准内的3D视频应用的视频通信系统。
技术介绍
大多数3D视频信号表示(称为3D场景)依赖于深度图和视差图。通常，从给定的3D场景的一组图像开始(所述图像对应于不同的观察点)，每一幅图像可能具有不同的相关联的特性，例如深度图和纹理。一个观察点的深度图是灰度图像，其每个像素包含到拍摄该场景的摄影机的距离。当要生成场景的一个新观察点(更简单地称为视图)时，如果给出另外的观察点、其深度图、固有的摄影机参数以及当摄影机从该观察点移动到新观察点时所经历的变化的参数(位移，旋转，镜头变化)，就可能计算新观察点的某些区域。这个过程叫做“重建”，所创建的新观察点叫做重建视图(或重建图像)。如果场景中的一点P从两个观察点都可以看到，那么通过一个转换矢量(translationvector)可以从该点在原始观察点中的像素坐标得到该点在新观察点中的像素坐标。这些矢量叫做视差矢量。如文献“three dimensionalcomputer vision(三维计算机视觉)-O.Faugeras MIT Press 1993”所公开的，投影几何结果在视差图的视差矢量与深度图的深度值之间建立一个简单关系。在视频信号的传输过程中，本领域技术人员熟知的多视图或立体编码方案，一般通过压缩覆盖观察点特定范围所需要的纹理和深度图来进行编码。虽然纹理可以用标准方法进行编码(这在有损编码的情况下潜在地将导致公知的假象问题)，深度(或视差)编码则更复杂一些对于一个已经编码的深度图，要具有一个与原始深度图在视觉上相似的缩图(aspect)并不意味着其必须具有同样的重建属性。在新视图生成过程中，点或者区域可能被转换到错误的位置(由于错误的视差矢量)。这将产生可能比已编码图所提出的“视觉”缩图更明显的纹理不连续。而且密集的深度图是非常大的文件，如果想把深度图的尺寸控制在合理的范围(也就是小于纹理比特率的20％)，则有损压缩几乎是不可避免的。因此必须处理假象和不适当的深度/视差值，并且必须设计解码视频信号后的后处理和增强算法。在MPEG-4标准内，深度图可以用多辅助部件工具(MAC)进行编码(参见文献《Amendment 1Visual extensions，ISO/IEC JTC1/SC29/WG 11 N 3056，December 1999》)，其中在块的基础上对深度图进行DCT编码，这与本领域技术人员熟知的经典亮度图像编码相似。没有提到对潜在的假象的具体处理，但是如前面提到的，传统的MPEG工具有利于纹理，对于深度图则不必然如此。因此，例如在纹理重建图像中，这可能导致连同孤立的纹理像素一同出现的模糊边缘，此外，这两种效应在其后的观察点期间是在时间上不一致的。专利技术目的和概要因此，本专利技术的一个目的在于提供一种数字视频信号的后处理方法，所述数字视频信号具有多个带有相关联的视差图的视图，所述方法能够校正深度图(或视差图)的编码假象。为达到上述目的，提供了一种如权利要求1所述的方法。正如将会详细地看到的那样，通过去掉孤立的投影像素，投影的和原始的视差图中的不一致的值被消除了。根据本专利技术的方法的一个实施例包括权利要求2所限定的步骤。根据本专利技术的方法的另一实施例包括权利要求3所限定的步骤。根据本专利技术的方法的另一实施例包括权利要求4所限定的步骤。根据本专利技术的方法的另一实施例包括权利要求5所限定的步骤。根据本专利技术的方法的另一实施例包括权利要求6所限定的步骤。通过考虑孔边界周围的投影像素，有利于避免用来自由于压缩所导致的错误的孔边界值的错误值来填充所述孔。根据本专利技术的方法的另一实施例包括权利要求7所限定的步骤。这有利于避免对于空间上不一致的未定义值的插值。附图简述通过阅读下面参照附图进行的详细说明，本专利技术的上述和其他目的、特点和优点将会变得更加清楚，其中附图说明图1是根据本专利技术的视频信号后处理方法的示意图；图2绘出了投影的视差图中的一些孔，这些孔是由图1的视频信号后处理方法的第一个步骤产生的；图3绘出了在图1的视频信号后处理方法的第一个步骤中，过滤投影的视差图中的孔的过程；图4示出了在图1的视频信号后处理方法的第二个步骤中，填充投影的视差图中的孔的过程；以及图5示出了在图1的视频信号后处理方法的第三个步骤中，过滤未定义像素值的过程。说明书全文中对于同样的单元将采用对应的附图标记。专利技术的详细说明在以下说明中，本领域技术人员熟知的功能或构造将不详细描述，以免让不必要的细节模糊本专利技术。本专利技术涉及一种数字视频信号的后处理方法。所述方法可以在用于MPEG4中的3D视频应用的视频通信系统内使用。一个3D视频信号包括多个观察点，其具有不同的相关联的特性，例如形状、纹理、运动矢量、视差图、深度图、颜色等等。当传输一个视频信号时，要对其进行编码。在编码过程中，其不同的特性被用压缩算法编码，尤其是视差图和深度图被采用压缩算法进行编码。这种压缩可能导致带有假象的受损的视差图和深度图。视频信号传输后要对其进行解码，然后所有的视图在包括后处理解码视差的算法中被重建。当要生成场景的一个新观察点时，如果给出另外的观察点、其深度图、固有的摄影机参数以及当摄影机从该观察点移动到新观察点时所经历的变化的参数(位移，旋转，镜头变化)，就可能计算新观察点的某些区域。后处理方法是基于这样一个事实当从另一个视图及其受损的深度图重建一个新视图时，如将进一步描述的样，深度图经历一些变换(例如投影)，使得比使用原始解码图时更容易检测有问题的值。首先，由于深度和视差之间存在对应关系(投影几何)这一事实，我们考虑视差图。由于总是有可能具有都沿着同样方向的视差矢量(例如本领域技术人员熟知的以及在文献“O.Faugeras，Three-dimensionalcomputer vision(三雏计算机视觉)，MIT Press，1993”中描述的，通过根据共极性(epipolar)约束来调整原始立体对)，我们将用水平视差矢量(视频摄影机的“平行立体设置”的常见的情况)来举例说明这个方法。当然，这绝不是对本专利技术的限制。这种情况下，视差矢量由单个数值定义，因此，以下提到时称其为“视差值”。在下文中，IO表示原始纹理图像，IN表示新的重建的视图，d表示视差图，d(x，y)表示像素(x，y)处的视差值。新的视图位于原始视图的左侧或右侧以及具有特定基线(或多或少远离原始视图)这一事实，将由系数α表示。对于视图中的每个像素(x，y)，有下列关系IO(x，y)＝IN(x+α.d(x，y)，y)重建过程可以以几种方式完成，通常的一种方式(参见文献“Disparity field and depth map coding for multi-view 3D imagegeneration”，by D.Tzovaras，N.Grammalidis，G.Strinzis，SignalProcessingImage Communication II(1998)205-230页)可以分为以下几个主要步骤，下面将详细描述1.投影视差图的生成2.投影视差图上的孔的填充3.基于孔填充后的投影本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：S·奥伯格，Y·皮卡尔德，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：