用于深度建模并提供运动物体的深度信息的方法和设备技术

一种用于在至少包括两个帧的图象序列中估计深度的方法，其特征在于，所述方法包括所述步骤： （１）选择并表述可辨认点的特性， （２）对于在每个帧中的每个点检查它是可见的还是遮断的，将这种遮断数据收集在遮断表中，从而每个帧与在所述表中的每行相对应而每个点与在所述表中的列相对应，因此把大的值赋予在与可见点相应的所述表中的元素，而把小的值赋予在与遮断点相应的所述表中的元素。 （３）执行关于所述遮断表的主分量分析，结果导致称为得分矢量的列矢量和称为输入矢量的行矢量，带有每个帧的值的一个得分矢量和带有每个点的值的一个输入矢量的集合称为因数，和 （４）将所述第一因数的所述输入矢量的每个元素的所述数字值作为关于所述相应点的深度信息输出，其中大的数字值表示点在所述摄像机或观测值的附近，而小的数字值表示点在远方。（*该技术在2016年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及当不能直接得到深度信息但可得到遮断信息时，用于间接定量估计或决定并对在信号流中的运动物体的深度方向建模的方法和设备。这种数据的例子是来自1D或2D摄像机的运动物体的数字视频序列。
技术介绍
与诸如雷达的测距仪器相反，视频摄像机不直接提供从测量设备到观测目的物的深度或距离。只有直接观测垂直和水平位置及位移。当光学上稠密物体一个移动在另一个的后面时，观测到作为来自隐蔽物信息损失的由此引起的遮断。然而，对于一些视频建模和压缩方案而言，具有深度方向的紧凑表示是十分重要的。这里，将深度定义为沿着从摄像机或观察者的视线的位置。在多数基于对象的视频压缩系统中需要深度信息。一种用法就是有效地对重迭对象处理。编码器可以运用深度次序信息把图象各部分指定给正确的各对象，而且编码器可以运用这种信息，从而在重叠的情况下只显示出最前面的物体。这种深度建模称为顺序的或定性的深度建模。另一组深度是十分重要的视频建模系统是自动地图构造系统，其中基于从不同位置，例如，从通过在地域上空飞行的飞机而摄制的地域照片自动制作地图。这里，根据立体图原理可以计算每一地域点的具有数字值的深度或高度模型。当在该地域中存在陡峭山脉时，这可以引起对于序列中一些帧的遮断。这种遮断对于一些存在的方法会引起问题，而根据本专利技术它们将成为系统中的信息源。可将这种的深度建模称为定量深度建模。对于基于对象的视频建模系统的另一个例子，考虑一个包括摄像机和安装在传输带附近的机器人手臂的垃极分检系统。一些型号的摄像机，特别是工作在近红外光谱部分的摄像机，善于识别不同类型的材料，例如塑料，因而可运用由这种分析产生的结果来控制机器人手臂使之可以从传输带抓取物体并将它们释放在分类箱中。机器人手臂只是试图抓取没有部分位于其它物体后面的物体，这是十分重要的。可以执行对于根据本专利技术的摄像机的分析，从而获得提供关于物体遮断其它物体的信息的深度图。可将这种深度建模称为深度图建模。对于基于对象的视频建模系统的又一个例子，考虑用于自动驾驶正在行驶的汽车的基于视频的系统。其它汽车，以及周围的地物，可能相互遮断。于是，有兴趣知道的不仅是哪些物体相互遮断，还有它们移动得多快、它们加速有多快、和紧接着它们将怎样相互遮断。可以根据本专利技术将这些信息概括成包括一个空间部分和一个时间部分的双线型模型。在一些视频建模技术中，能够决定并沿着深度方向表示时间变化也是有利的。现在的视频编码解码器(编码器/解码器)系统不提供沿着深度方向系统的时间变化的充分的描述。本专利技术只取决于遮断，即，关于可以通过哪些帧跟随哪些点或区域的信息。不需要要求了解场景的深度线索。这些线索可能是看来象是蓝色的山脉(由摄像机或观察者)通常比看来象是绿色的山脉离得远，靠近地平线的物体通常比远离地平线的物体离得远，看上去小的脸通常比看上去大的脸离得远，看上去移动快物体通常比看上去静止不动的物体离得近，或者在摄像机焦点中的物体比在摄像机焦点外的物体多一个深度。也不用立体视觉或其它类型视差。然而，如果获得任何这样的副信息，那么可将它包括进去以进一步稳定判断。相应地，本专利技术的一个目的在于提供一种用于通常从具有空间分辨信号(输入信号)，特别从来自1D或来自2D摄像机的视频序列图象数据获得顺序的或定性的深度信息的方法和设备。本专利技术还有一个目的是检测在深度次序中时间或空间的不一致性，而且或者解决这些不一致性或者紧凑地模拟它们。又一个目的是提供对于不同的图象部分定量的深度信息，并以任何形式输出该深度信息。又一个目的是提供关于在帧的不同部分中深度是如何随着时间变化的定量信息并以任何形式输出信息。又一个目的是将深度信息表示成紧凑模型的表示法。又一个目的是促使基于这种紧凑模型表示法的时间和空间内插法或外推法。又一个目的是用一序列的充分的定量细节估计深度，从而可以很好地解码或重建序列中的帧，而不必找到“真的”深度。又一个目的是将在标称的或次序测量层次的定性遮断数据转换成在比例或间隔层次上的深度预测。专利技术概述深度分析主要分二阶段进行第一，几个简单的局部遮断被检测并被表述其特征。第二，对这些遮断作稳健的联合以获得共同的深度模型。运用特性点搜寻、逆运动估计、假设检验、或产生关于图象的哪些部分被遮断或正遮断其它部分的信息的其它技术可以找到局部遮断。运用专家们熟悉的诸如稳健的多元建模、稳健的拓扑分类、或两者的组合的技术可以进行遮断的联合分析。对于改变深度次序，多元建模效果更好，而且它还可以运用图象几何数据，而拓扑分类产生在许多应用中都十分有用的深度图象。可将拓扑分类用作多元建模。在联合分析中，可以找到主深度模型，并可以检测到在局部遮断之间的不一致性。可将这个信息反馈到用于重复局部遮断分析的局部遮断检测。可以制造新的深度模型，而且可以重复这个步骤直至收敛。结果引起的共同深度模型可以有四种类型第一，它可以是对于图象的有关部分的一个顺序的深度次序。第二，它可以是对于图象的有关部分的定量深度。第三，它可以是双线性模型，包括表示空间深度改变样式的低数目的称为“输入(loading)”的一个空间部分，和表示每个空间深度改变样式中有多少是对于一个帧的称为“得分(score)”的时间部分。第四，它可以是表示图象的哪些部分遮断其它部分的遮断图(还称为“深度图”)。可以组合四种类型。特别是，可以找到定量的深度和可兼容遮断图的组合。多元深度模型具有空间和时间参数，从中可以预定图片元素的深度和在它们被遮断时的点，没有获得遮断信息时的点。这些内插和外推可以基于关于局部空间或时间平滑度的假设，而且可以给出有用的范围信息。如果在观测的场景中物体互相改变相对的深度，或者如果物体旋转，那么这可以引起系统地变化局部遮断样式。可将多元深度模型制成可以容纳这种系统的深度变化，而模型复杂度的增加是有限的。如果在对于图象可见部分的图象平面中可获得运动的可靠估计，那么可将这个信息用于稳定并增强深度建模。此外，可将深度的估计或与图象平面垂直的运动估计用于稳定并增强深度建模。附图概述附图说明图1示出本专利技术的两个主要操作装置，局部遮断检测器和全局深度模型生成器；图2示出用于1D摄像机数据的一个物体在另一个物体的后面移动的简单情况；图3示出可以如何包括时间模型；图4是根据图3的数据的结果图；图5示出用于1D摄像机的一个运动模式的例子，即旋转体，最好用双因素双线型深度模型建模。图6从a到f示出如何用图象几何数据增强深度的建模，从而提供较好的定量数据；这些数字还示出该方法对于输入数据中的小误差是稳健的；图7是从图6所得的结果图；图8示出施于物体而不是单个点的本专利技术的原理，集中来自物体重叠区域的遮断阵列；图9示出当三个或更多物体重叠时，如何收集遮断信息；图10示出怎样将该方法应用到新息区域而不是遮断区域；图11示出如何将遮断阵列看作是具有可能回路的图，如何强制将这些图成为无回路图，和当分别将图转换成深度次序和深度对关系时结果怎样；和图12示出遮断阵列的预测。第一较佳实施例图1示出在第一实施例中对于本专利技术的概要，包括深度建模器100。其中，深度建模器100包括局部遮断检测器110、通用深度模型生成器120、遮断预测器140、和深度模型130。局部遮断检测器110接收视频输入150并对视频输入帧作局部遮断模式方面本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：哈拉尔德·奥高·马滕斯，简·奥托·雷伯格，
申请(专利权)人：德国IDT国际数字技术有限公司，
类型：发明
国别省市：