一种在深度图或视差图的掩蔽域中进行填充的方法，该图基于至少两个图像而估算并且由形成一组行和列的像素的矩阵构成，该图的每个像素与被叫做“像素值”的深度值或者视差值相关联，并且被叫做“无效像素”的掩蔽域的任何像素与可被识别为无效的像素的值相关联。这个方法包括在预定义的方向上逐个像素地遍历（Ｅ１、Ｅ２、Ｅ１０）该图的每一行，并且向在当前行中遇到（Ｅ３）的每个无效像素Ｐｉ分配以下值，所述值按照与属于当前行中的无效像素Ｐｉ之后的第一有效像素Ｐ１（如果它存在的话）周围的预定义的邻域的像素相关联的值的函数来确定（Ｅ４－Ｅ９），并且该第一有效像素Ｐ１的值Ｖ（Ｐ１）关于当前行中的无效像素Ｐｉ之前的最后的有效像素Ｐ０（如果它存在的话）的值Ｖ（Ｐ０）而对应于更大的深度或者更小的视差。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及处理数字图像，并且更具体地涉及一种用于填充根据至少两个图像来 估算的深度图或视差图中的被遮蔽区域(occluded area)的技术。
技术介绍
已知为深度图或视差图的图传统地使用在三维视频(3D视频)应用(诸如，浮雕 显示(display in relief)、三维场景的重构、以及视频图像中的虚拟导航)中。这些图是 通过根据相同场景的至少两个图像的估算处理而获得的，所述相同场景来自通过多个摄像 机拍摄的立体视频或者多视图视频或者对应于相同视频中的不同时间。在传送立体内容的具体情况下通常使用两种方法。第一种方法使用一对被定位 以便再现人的视觉系统的传统的摄像机，每个相机对应于一只眼睛。被拍摄的两个单视 觉(monoscopic)的视频序列被传送给用户。另一种方法仅仅传送伴随有与每个像素相关 联的深度信息的一个单视觉彩色视频序列。在这种情况下，可以通过基于深度图的渲染 (rendering)算法而在用户端处合成一个或多个虚拟视图。该深度图方法具有减少用于传 送的总带宽的具体优点，并且直接可应用于具有数据压缩的视频编码。为了定义将什么传统地称作深度图和视差图，并且为了简化解释，考虑其中(例 如，通过摄像机来)产生来自两个不同视点的相同场景的两个图像的双目(binocular)立 体视觉的具体情况。该两个图像传统地被称作右手图像和左手图像。在该上下文中，对应 于给定图像的深度图(例如，右手图像或左手图像)是数字图像，该数字图像的每个像素与 表示作为所关注的像素与相机的距离的特性的色彩(例如，灰色的阴影)的值相关联。图1示出深度图，其中通过从用于最近的对象的白色到用于最远的对象的黑色的 灰度级来表示在图像中出现的对象相对于摄制了场景的相机的距离。由此，在该示例中，具 有比较淡的阴影的桌子和包含花朵的花瓶是场景中最近的对象(前景)，而所表示的屏幕 呈现为最远的对象(背景)。图加和2b表示可以根据其来估算深度图的一对立体图像。图加表示左手图像， 而图2b表示右手图像。视差图体现了上述的两个图像的立体匹配的结果。立体匹配在于在左手图像和 右手图像中发现同源的(homologous)像素，即，作为场景中相同实体的投影的像素。视差 图是视觉地表示这种匹配的结果的一种方式视差图的每个像素表示视差的幅度，即，左手 图像中像素的位置和右手图像中该像素的对应方(counterpart)的位置之间的距离。由 此，视差图的每个像素与表示视差的幅度的色彩特性的值相关联。传统的处理再次使用灰 度的阴影例如，像素越暗，则视差越小，其中完全白色的像素表示在两个图像之一中没有 对应方的像素。易于证明与图像的给定像素相关联的深度值越高，则对应的视差值越低。由此， 深度和视差为两个成反比例的量值，本专利技术可以均等地应用于深度图或者视差图。在本描述的剩余部分中，深度图和视差图可互换地指代并且术语“图”指代这些图中的任一个。深度图或者视差图的使用在诸如视频中的虚拟导航、浮雕显示、3D建模以及视频 编码之类的新兴技术的上下文中是非常重要的。通过来自不同视图的预测而获得的深度图 还可以用于通过使用深度图来预测视图而执行压缩的压缩应用。在这种方法中，深度图用 于预测在相同场景的其他视频中的对应的视图，以便限制冗余信息的传送，特别是在由多 个视频和相关联的深度图组成的MVD(多视图视频和深度)数据的情况下。无论最终应用 是什么，这些图的精度因此对于重构的视图的质量和对于编码应用中的高效的视频压缩是 关键的。具体地，深度图/视差图的质量与所关注的图中被遮蔽区域的存在有联系。被遮 蔽区域是像素在图像之一中没有对应方的图的区域，其中在仅仅一个图像中一部分可见。 这些被遮蔽区域本质上是由场景中的被称作遮蔽对象的对象造成的，所述遮蔽对象即在两 个图像之一(右手图像或者左手图像)中屏蔽了在另一个图像中直接可见的所表示场景的 具体范围的对象。发现被遮蔽区域本质上处于由图中的深度不连续性造成的边界的周围。图3表示使用基于图形剪切的已知算法估算的视差图的示例。更精确地，所使 用的算法是例如在文献〃 Multi-camera scene reconstruction via graph cuts ", V. Kolmogorov and R. Zabih, Proceedings ofthe European Conference on Computer Vision, 2002中描述的算法。在所表示的图像中，白色区域是通过上述的图形剪切算法检测的被遮蔽区域并且 尚不可能对其确定像素值，这是因为在分别由图加和图2b表示的左手图像和右手图像中 缺少对应方。因此，必须考虑深度图或者视差图中的这些被遮蔽区域，以便增强通过基于这些 图的重构或者合成处理所获得的图像的质量。这具体地在检测和/或填充对应于缺失信息 的被遮蔽区域中的间隙(gap)中成为问题。用于处理上述的深度图或者视差图的缺陷的已知技术具体包括对从深度图或者 视差图重构的图像进行操作的第一类技术。该第一类的解决方案例如在文献“Mereoscopic imaging =Filling disoccluded areas in image-based rendering" ,C. Vazquez,W. J. Tam,and F. Speranza, Proceedings of the SPIE Three-Dimensional TV, Video, and Display, Vol. 6392, pp. 0D1-0D12,2006中进行了描述。根据这些解决方案，重构的图像中的间隙通过传播 (propagate)从其邻域(vicinity)获得的值而进行填充。然而，对从深度图或者视差图重 构的图像进行操作的这类技术具有很少利用(如果进行利用的话)深度图的特定特征的缺 点。这些图表示具有与纹理化的二维OD)图像不同的特征，诸如缺乏纹理细节以及对该对 象的相对位置的深度的影响。第二类已知的技术直接对深度图或者视差图进行操作。例如，文献‘‘Improving depth maps by nonlinear diffusion " , J. Yin and J. R. Cooperstock, Proc. 12th International Conference Computer Graphics, Visualization and ComputerVision, Pizen,Czech Republic,Feb. 2004描述了可应用于深度图以增强被遮蔽区域或者缺乏纹理 的区域的后期处理。该后期处理基于通过非线性扩散(即，与边缘检测结合的高斯平滑化) 进行的填充。在文献“Design Considerations for View Interpolation in a 3D Video Coding Framework “，Yannick Morvan, Dirk Farin，and Peter H. N. de With,27th Symposium on Information Theory in The Benelux, Vol. lp.，June 2006，Noordwijk， Nether本文档来自技高网...
【技术保护点】
一种填充深度图或视差图的被遮蔽区域的方法，所述深度图或视差图根据至少两个图像来估算并且由形成一组行和列的像素的矩阵组成，该图的每个像素与被称作像素值的深度值或者视差值相关联，并且被称作无效像素的被遮蔽区域的任何像素与能被识别为无效的像素值相关联； 所述方法的特征在于，其包括以下步骤（Ｅ１、Ｅ２、Ｅ１０），该步骤（Ｅ１、Ｅ２、Ｅ１０）用于在预定义的方向上逐个像素地处理该图的每一行，并且向在当前行中遇到（Ｅ３）的每个无效像素Ｐｉ分配（Ｅ４－Ｅ９）像素值，所述像素值按照与当前行中的无效像素Ｐｉ之后的如果存在的第一有效像素Ｐ１周围的预定义的邻域中的像素相关联的值的函数来确定，并且该第一有效像素Ｐ１的值Ｖ（Ｐ１）相对于当前行中的无效像素Ｐｉ之前的如果存在的最后的有效像素Ｐ０的值Ｖ（Ｐ０）而对应于更大的深度或者更小的视差。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：戴维·亚历山德里尼，
申请(专利权)人：法国电信公司，
类型：发明
国别省市：FR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。