用于改进从立体感图像中抽取的对象边界的方法和装置制造方法及图纸

本发明专利技术公开一种方法和装置，它用于细化对象的边界，该对象是指从立体感图像中抽取并由计算机确定的情景图像。在公开的方法中，对象边界细化通过改变构成情景对象的像素组合执行。在这方法中，一幅图像的每个像素与第二幅图像中的候选像素重新组合，然后为每个重新匹配的像素组合求出一个新的视差度量。当该新的视差度量仍然在动态指定的边界中时，该重新匹配的像素组合就被保留，因此，替换以前匹配的像素组合。当该新的视差度量落在指定的边界的外面时，先前重新匹配的组合被保留。对于组合图像的每个像素都要继续这样的变更像素组合的过程，在变更像素组合的过程中重新匹配立体感图像间的像素。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及计算机视觉技术。更具体地讲，本专利技术涉及改进一幅图像中感知到的对象边界的确定。计算机视觉技术正在经历相当显著的发展，它能使计算机感知情景中的图像。计算机识别和感知情景图像或图像的这种能力是很重要的，它能够提供一种附加手段以便把数据输入到计算机中。因此，可以给计算机展示情景，并且在该情景中的图像和对象可以被记录下来，以便以后进行增强、过滤以及着色等。计算机视觉技术的一个方面是确定图像中对象的深度。确定对象的深度可以帮助确定每个对象的边界。一种实现深度感知的技术使用立体图像技术，即，使用两台照相机来记录图像。然后，对同时看到的图像进行处理，以便确定该图像中那些对象的相对位置。典型地，图像间匹配对象的确定的执行是把一幅图像中一组已知尺寸，例如，9×9像素矩阵的像素与第二幅图像中相似的一组像素进行比较。在那些情况下，当图像对象在空间上有充分的间距，即，大于匹配分辨率标准时，该对象的边界典型地可清晰地被显示。随着各对象位置的接近，或对象间的纹理差异的缺少，对象边界的确定就会变得更困难。在本领域中，对于改进对象边界确定的方法，人们都是非常熟悉的。例如，使用逐点匹配的方法就能产生明显的边界，该方法在国际期刊《计算机视觉》35(3)，第1-25页，于1999年所刊登的一篇叫做″通过像素对像素的立体图的深度分界″文章中进行了说明，该方法这里叫做Stanford算法，该文章作者是S.Birchfed、C.Tomasi。然而，这些算法有时却不能正确地确定边界的位置，并且提出的边界有非常明显的偏移。因此，在由于缺少纹理导致的对象边界模糊的区域的情况下，有必要改进对象边界的确定方法，而不增加处理时间。一种用于细化相同情景下立体感图像中对象边界的方法，它对所确定的像素图像数据进行重新处理以细化边界图像。即，使用方便的处理技术，把两幅立体感图像进行处理得到单一的结果图像，这包括匹配两幅图像间相应的像素，确定两幅图像中相同对象位置视差的差值的度量。然后，该方法就对结果图像进行重新处理，它一次一个像素地选择结果图像中的每个像素，并确定重新匹配，从而使第一幅图像中相应的像素与第二幅图像中的不同像素重新匹配。然后，确定重新匹配的像素组合的第二差异度量，并且在第二差异度量与第一度量区别不大时，保留重新匹配的像素组合。当第二度量落在所确定的值的已知的范围内时，第二差异度量与第一度量区别不大。附图中附图说明图1a和1b展示的是使用立体感图像照相系统所看到的两幅图像；图2展示的是在图1a和1b中所展示的两幅图的所感知的视差图像；图3展示图2中所绘制的感知用的计算机的处理示范；图4a展示的是两幅图像间像素的正确匹配的示范；图4b展示的是图4a中所展示的正确匹配的像素的差异度量的示范；图5a展示两幅图像间像素失配的示范；图5b展示图5a中所展示的失配像素度量的示范；图5c展示两幅图像间像素失配的第二个示范；图5d展示图5c中所展示的失配像素度量的示范；图6a展示的是根据本专利技术的原理，对两幅透视图像间像素重新匹配的示范；图6b展示的是根据本专利技术原理，对图6a中所展示的重新匹配的像素的度量的示范；图7a展示根据本专利技术的原理，示范处理的流程图；图7b展示根据本专利技术的原理，示范处理的第二个流程图；图8展示根据本专利技术的原理，在图2中所处理的计算机图像的示范。应当理解，这些附图仅仅是为了说明本专利技术的概念，而不是有意用于限定本专利技术。将会理解的是，同样的参考数字，可能在需要的地方会用参考字符进行补充，这些参考数字自始至终用于表示相应的部分。为了理解和估价本专利技术的新颖特点，它涉及校正计算机图像表示中对象边界的像素失配，首先有必要论述常规图像边界识别过程及其相关的问题。图1a和1b展示常规立体感图像。图2展示的视差图像，它是通过匹配包含于图1a和1b的图像的像素元件来建立的。图3展示的是根据常规图像处理技术，进行对象边界的第一级的细化。图4a展示的是一种理想情况的预期的图像边界解决方案。图5a和5c展示对象边界的像素失配的示范。图6a展示的是根据本专利技术原理的像素失配的校正。图7展示根据本专利技术原理的处理流程的示范。图1a和1b展示的是用左照相机和右照相机所分别看到的情景。在这个例子中，两个视图都包括这些对象，例如，人100、椅子扶手102、手推车104、方块106、台108、招牌110、板112、椅子114等等。如所熟悉的，情景的立体图的观看建立图像的外观上的偏移，即，各视图间的视差。该视差可以在图1a和1b中的视图观察出来，例如，参照人100和台108的关系。在图1a中，台108比在图1b中更加充分地被人100所遮挡。该视差参照手推车104和人100的右肩也可以观察出来。图2展示的是视差图像，它通过合成图1a和1b中的图像而形成。在这个例子中，图像的像素差使用了非常熟悉的处理技术加以映射，例如，Stanford算法。这种图像像素的差值的映射，即，视差映射，定义每个像素在左图像和右图像即图1a和1b间分别偏移了多少。在这个说明性的例子中，对象-人100总体上是可以从该情景的环境对象中被区别出来。然而，人100的重要的部分却没有被分辨出来，并且扩展到环境的区域中。这个扩展用区域210和220所展示。正如所展示的那样，方块106稍微可以分辨出来一些，但是却不能从环境背景分辨出来。方块106不如对象-人100那样可分辨的那么清楚，因为块106离观看用的照相机更远一些，却与背景墙靠得更近。此外，手推车104扩展进入到背景图像中，这正如在区域230中所展示的那样。不能从环境背景中唯一地分辨对象的这种缺陷，部分是因为在图像的局部缺少纹理而在对象边界上引起的错误导致的。图3展示的是示范图像，它使用了人们非常熟悉的图像处理方法。在这个例子中，区域230用Stanford算法的后处理步骤修正。然而，该处理并没有把在区域210和220中所展示的图像的扩展区别出来。图4a展示的是一种校正方案，它把来自诸如图1中的左图像以及来自诸如图1b的右图像的像素进行匹配。在这个例子中，暗圈402、404、406等代表了例如在右图像中的诸如人100那样的第一个对象的像素，而暗圈422、424、426等代表左图像中第一对象的像素。相似地，亮圈462、464、466等代表右图像中第二个对象例如手推车104的像素，而亮圈482、484、486等代表左图像中相同的第二对象的像素。正如所理解的那样，因为在图像间存在视差偏移，所以像素422、424以及424相对于像素402、404以及406等偏移。因此，当右图像对象像素402、404、406等与左图像对象像素422、424、426等相匹配的时候，就能获得在左图像和右图像间正确的像素匹配。相似地，右图像第二对象像素468、470、472等与左图像第二对象像素482、484、486等相匹配。正如所展示的那样，因为第二对象像素462、466以及468在两幅图像中是不可见的，即，视差的影响，所以它们就没有得到匹配。因此，这些像素就可被正确地从处理过的图像中剔除。图4b展示的是度量的示范，即，代价函数，它与逐像素匹配相关联。代价函数的确定在本领域是人们都非常熟悉的，它可以使用在前面所参考的Stanford算法而获得。图5a和5c展示失配对象像素的本文档来自技高网...

【技术保护点】
一种用于细化对象边界的方法，它使用情景的第一立体感图像和该情景的第二立体感图像，其中所述立体感图像间的相应像素的每一个都要作为具有第一视差度量的单一像素实体被匹配，所述方法包括这些步骤：ａ．选择所述匹配的像素实体之一；ｂ．把所述第一 图像中相应像素与所述第二图像中的邻接像素相匹配，以便生成重新匹配的像素实体；ｃ．给所述重新匹配的像素实体确定第二度量；ｄ．当所述已确定的第二度量与所述第一度量无明显不同的时候，保留所述重新匹配的像素实体；ｅ．为每个像素实体重复步 骤ｂ到ｄ。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：T布罗斯基，
申请(专利权)人：皇家菲利浦电子有限公司，
类型：发明
国别省市：NL[荷兰]