用于确定图像的深度图的方法和装置制造方法及图纸

一种装置接收图像以及包括输入深度值的相关联深度图。轮廓检测器（405）检测图像中的轮廓。模型处理器（407）通过将深度模型拟合至针对轮廓的输入深度值而生成针对轮廓的轮廓深度模型。深度值确定器（409）从所述轮廓深度模型针对所述轮廓的至少一个像素确定深度模型深度值。所述深度模型例如可以对应于单个深度值，所述单个深度值例如可以被设置为最大输入深度值。修改器（411）通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图。这包括响应于所述深度模型深度值而针对所述经修改的深度图中的像素生成经修改的深度值。所述深度模型深度值例如可以替代所述像素的输入深度值。

A method and device for determining the depth map of an image

A device receives an image and a correlation depth map including the input depth value. The contour detector (405) detects the contour in the image. The model processor (407) generates a contour depth model for the contour by fitting the depth model to the input depth value for the contour. The depth value determiner (409) determines the depth model depth value for at least one pixel of the outline from the outline depth model. The depth model, for example, can correspond to a single depth value, and the single depth value, for example, can be set to a maximum input depth value, for example. The modifier (411) generates a modified depth map from the related depth map by modifying the depth value of the associated depth map. This includes generating a modified depth value for the pixels in the modified depth map in response to the depth of the depth model in response to the depth of the depth model. The depth value of the depth model, for example, can be replaced by the input depth value of the pixel.

【技术实现步骤摘要】
【国外来华专利技术】用于确定图像的深度图的方法和装置
本专利技术涉及一种用于确定图像的深度图的方法和装置，尤其但并非排他地，所述方法和装置用于基于估计差异值来确定深度图。
技术介绍
三维（3D）显示器通过为观看者的双眼提供所观看的景象的不同视图而对观看体验增加了第三维度。这能够通过使用户佩戴眼镜以将所显示的两个视图分离来实现。然而，由于这可能被认为造成用户的不便，所以在许多情形下优选使用裸眼立体显示器，所述裸眼立体显示器使用了分离视图的显示器处的器件（诸如柱状透镜或光栅）以及将它们以不同方向发送，其中它们可以单独地到达用户的眼睛。对于立体显示器而言需要两个视图，而裸眼立体显示器则通常需要更多视图（作为示例，诸如九个视图）。所呈现的三维图像的质量取决于所接收图像数据的质量，并且特别地，三维感知的质量取决于所接收到的深度信息的质量。然而，在许多实际应用和情形中，所提供的深度信息往往是次优的。例如，在许多实施例中，可能想要针对新的取景方向生成视图图像。而已知有各种算法是基于图像和深度信息来生成这样的新的视图图像，它们往往高度依赖于所提供（或得出）的深度信息的准确性。实际上，三维图像信息经常由对应于景象的不同取景方向的多个图像所提供。特别地，所生成的诸如电影或电视节目之类的视频内容越来越多地包括一些3D信息。这样的信息可以使用专用的3D相机来捕捉，所述3D相机从稍具偏移量的相机位置捕捉两个同时的图像。然而，在许多应用中，所提供的图像可能并不直接对应于所期望的方向，或者会要求更多的图像。例如，对于裸眼立体显示器而言，就需要多于两个的图像，并且实际上经常使用9-26个视图图像。为了生成对应于不同取景方向的图像，可以采用视点转移（viewpointshifting）处理。这通常由视图转移算法来执行，所述算法使用单个取景方向的图像以及相关联的深度信息。然而，为了生成没有明显伪像的新的视图图像，所提供的深度信息必须是足够准确的。不幸的是，在许多应用和使用情形中，所述深度信息可能并不像所期望的那样准确。实际上，在许多情形下，深度信息是通过比较不同取景方向的视图图像来估计并提取深度值而生成的。在许多应用中，使用处于稍微不同位置的两个相机将三维景象捕捉为立体图像。具体的深度值随后可以通过估计这两个图像中的相对应图像对象之间的差异而生成。然而，这样的深度提取和估计是有问题的，并且往往导致非理想的深度值。这也会导致伪像以及有所退化的三维图像质量。三维图像退化和伪像对于不同图像对象之间的变换（transition）而言往往特别重要。进一步地，基于相关联图像的差异估计对深度信息的确定通常还涉及到对图像对象的特性的考虑。通常，差异估计算法通过在局部比较左侧图像中的点与右侧图像中其相对应的点之间的颜色差异来搜索左侧和右侧图像之间的对应性。然而，所产生的深度图通常是相对不准确的，并且为了改善所述深度图而应用所述深度图的后期滤波。所述后期滤波可以特别地是双边颜色和/或亮度的自适应滤波，其中滤波核心适于反应图像的视觉属性。这样的双边滤波可以产生适于更紧密符合图像特性的深度图，并且它可以使得所估计差异的一致性和时间稳定性有所改善，或者例如可以在不同图像对象之间提供更为锐利的深度变换。图1图示了可以用来产生差异图的典型处理流程的示例。左眼和右眼图像被输入至差异估计模块101，所述差异估计模块101输出通常为块分辨率（例如，4×4、8×8或16×16像素）的差异图。原始图像之一随后在双边滤波器103中被用来对该差异图进行滤波并且产生经双边滤波的深度图。在滤波之后，以像素分辨率对差异图进行修改。所述滤波器通常可以迫使在空间上接近且具有相同颜色的像素具有相同的差异。由于处于长的对象边界两侧的对象的颜色/亮度的相似性，所述双边颜色/亮度自适应滤波器可能会导致接近于这样的边界的差异误差或伪像。作为结果，在接近于对象边界处，与背景中对象的距离可能被低估而与前景中对象的距离则可能被高估。在使用所获得的差异图进行视图生成时，例如用于裸眼立体观看，所述边界可能会变得失真。人类观看者往往对于这样的失真和伪像非常敏感。例如，图1的双边滤波器103对于两个对象之间的边界作用非常好，所述两个对象具有对这两个对象而言非常不同的相当一致的视觉属性。例如，其对于都具有统一颜色（在对象内没有大的强度波动）但是强度存在大幅差异的两个对象作用可以极好。然而，对于其它对象，特别是诸如具有高度纹理的对象而言，双边滤波器将远没那么有效并且实际上可能引入伪像。特别地，对于带纹理对象来说，前景的差异可能经常漏入背景，反之亦然。该伪像在对象边界上最为显现，因为如我们作为人类观看者所知道的，在相机位置小幅转移的情况下，如投射在图像平面中的对象边界的形状将仅表现出几何上的小幅变化。图2中图示了该效果。如所图示的，3D对象的透视投影的平滑对象边界将不太可能示出从左眼图像到右眼图像的几何上的高频变化，即图2a的情形可能反映出真实景象，而图2b的不规则性（其可能是由于带纹理的对象）则远远不太可能反映出所述景象。因此，一种有所改进的用于确定适当深度信息的方法将会是有利的，特别是一种允许灵活性有所提高、便于实施、复杂度下降、深度信息有所改善、对于诸如纹理的视觉变化的敏感度下降、3D体验有所改善和/或所感知图像质量有所改善的方法将会是有利的。
技术实现思路
因此，本专利技术致力于优选地以单独方式或以任意组合方式来缓解、缓和或消除以上所提到的一种或多种缺陷。根据本专利技术的一个方面，提供了一种用于生成深度图的装置，所述装置包括：用于提供图像以及包括输入深度值的相关联深度图的图像生成器；用于检测图像中的至少第一轮廓的轮廓检测器，所述第一轮廓包括第一像素集合；用于通过将深度模型拟合至针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型的模型处理器；用于从所述轮廓深度模型对所述第一像素集合中的至少第一像素确定深度模型深度值的深度值确定器；以及用于通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图的修改器；其中所述修改器被布置来响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。在许多实施例中，该方法可以允许生成有所改善的深度图，其例如在被用于图像处理时可以提供有所改善的质量。例如，在许多实施例和情形中，使用经修改的深度图可以实现图像对象有所改善的呈现形式。该改善在所述经修改的深度图被用于图像视图转移时和/或在裸眼立体显示器上呈现三维图像时会是特别重要的。该方法在许多情形下尤其可以减少或去除图象对象边缘附近的深度不一致性、不规则性、噪声和/或伪像。一个或多个深度图可以是部分图（partialmap）。所述深度图中所包括的深度值可以是深度的任意适当的表示形式，诸如特别是表示不同取景方向的图像之间的转移的深度坐标（z）值或差异值。所述相关联深度图可以是提供图像中的图像对象/区域的深度的直接或间接指示的任意完整或部分深度图。所述轮廓检测器可以被布置来检测多个轮廓，其中每个轮廓例如可以被单独处理。所述轮廓检测器可以响应于图像中视觉属性的空间变化，诸如特别是响应于图像的颜色和/或亮度的空间变化，而检测第一轮廓。所述轮廓检测器可以特别地被布置来响应于视觉属性变化约束和几何约束而检测第一轮廓本文档来自技高网...

【技术保护点】
一种用于生成深度图的装置，所述装置包括：用于提供图像以及包括输入深度值的相关联深度图的图像生成器（401）；用于检测图像中的至少第一轮廓的轮廓检测器（405），所述第一轮廓包括第一像素集合；用于通过将深度模型拟合至针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型的模型处理器（407）；用于从所述轮廓深度模型针对所述第一像素集合中的至少第一像素确定深度模型深度值的深度值确定器（409）；以及用于通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图的修改器（411）；其中所述修改器（411）被布置来响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。

【技术特征摘要】
【国外来华专利技术】2015.06.16 EP 15172402.81.一种用于生成深度图的装置，所述装置包括：用于提供图像以及包括输入深度值的相关联深度图的图像生成器（401）；用于检测图像中的至少第一轮廓的轮廓检测器（405），所述第一轮廓包括第一像素集合；用于通过将深度模型拟合至针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型的模型处理器（407）；用于从所述轮廓深度模型针对所述第一像素集合中的至少第一像素确定深度模型深度值的深度值确定器（409）；以及用于通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图的修改器（411）；其中所述修改器（411）被布置来响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。2.根据权利要求1所述的装置，其中所述修改器（411）被布置来将所述第一经修改的深度值设置为所述深度模型深度值。3.根据权利要求1所述的装置，其中所述修改器（411）被布置来将所述第一经修改的深度值生成为所述深度模型深度值和所述第一像素的输入深度值的组合。4.根据权利要求3所述的装置，其中所述轮廓检测器（405）被布置来生成软决策检测数值，所述组合是加权组合，以及所述修改器被布置来响应于所述软决策检测数值而确定所述深度模型深度值和所述第一像素的输入深度值中至少一个的权重。5.根据权利要求4所述的装置，其中所述轮廓检测器（405）被布置来响应于所述第一轮廓的几何属性而生成所述软决策数值。6.根据权利要求1所述的装置，其中所述轮廓深度模型是恒定深度值模型。7.根据权利要求6所述的装置，其中所述模型处理...

【专利技术属性】
技术研发人员：C瓦雷坎普，PLE范德瓦尔勒，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL