用于重建3D线的方法技术

本发明专利技术提供了一种用于重建3D线的方法。用于从场景的单个图像中的二维2D线重建3D世界坐标系中的三维3D线的方法使用消失点检测和聚类2D线。生成顶点和边缘的约束图形，其中，顶点表示2D线，并且边缘表示对于2D线的约束，然后识别满足约束的3D线并且使用所识别的约束重建3D线。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种用于重建3D线的方法。用于从场景的单个图像中的二维2D线重建3D世界坐标系中的三维3D线的方法使用消失点检测和聚类2D线。生成顶点和边缘的约束图形，其中，顶点表示2D线，并且边缘表示对于2D线的约束，然后识别满足约束的3D线并且使用所识别的约束重建3D线。【专利说明】用于重建3D线的方法
本专利技术一般地涉及计算机视觉，并且更具体地涉及从单个2D图像中的2D线重建3D世界坐标系中的3D线，从而能够使用3D线用于场景重建。
技术介绍
计算机视觉中的基础问题是单视重建(SVR)。SVR处理从单个2D图像复原3D真实世界场景的问题。 在包括人造结构(例如，建筑物和房间)的室内或室外场景的2D图像中，主要的特征是三个正交方向上的3D线。相对容易的是确定图像中线何时相交。然而，这不一定意味着对应的线在3D真实世界中交叉。 简单的反例是图像中共享公共消失点的线。这些线看起来在消失点处交叉，但是在真实世界中并没有交叉，在真实世界中，这些线彼此平行。因此，识别何时图像中看起来交叉的线对应于真实世界中的交叉是很困难的。推断线的3D结构存在着若干挑战。 最大的挑战在于，图像中的遮挡边缘产生了错误的交叉。真实图像中的线检测方法常常错过了重要的线并且产生了假线。检测到的线常常是中断的或者剪短的，从而消去了交叉的任何证据。另外，真实世界场景由于杂乱而是特别有挑战性的。 SVR是计算机视觉中的确实未解决的问题。重建能够是几何或语义化的。最常见的几何重建方法基于将线标记为凸、凹或遮挡线。线标记问题通常是NP困难的(NP-hard)。已经研究了若干挑战线绘制并且已经开发了新颖的约束满足方法来解决SVR问题。这些方法主要用于合成或计算机生成的线绘制，并且通常对于真实世界图像来说是不满意的。为真实图像提供良好的结果的大多数其它几何单视重建方法依赖于某种用户交互。 随着更全面的方法的出现，对于SVR问题存在着另外的兴趣。例如，图像中的像素能够被分类为天空、建筑物和地面。这样的分类与表面取向的估计一起能够产生足够用于诸如合成步行道、用于电影的立体内容生成和用于物体检测和识别的3D环境的若干应用的3D模型。用于这样的粗略建模的方法使用若干几何和图像特征。 伴随着若干图像特征和对于共面性和共线性的弱假设，一种方法从单个图像估计深度。另一种方法使用长方体近似房间几何性并且对不同假设进行采样并且基于若干图像和几何特征选择最佳的一个。室内场景中的杂乱已经被建模为立方体并且以3D重建。 作为严重的问题，SVR已经导致了若干解决方案，例如，取向地图的计算，从人类活动推断几何形，明确地使用边界信息，模板3D形状并且甚至物理驱动的稳定性和机械约束。 通过使用最优策略来从较大的解空间准确地推断布局来显著地改进性能。已经使用了基于曼哈顿假设的约束来从航拍照片建模建筑物。
技术实现思路
本专利技术的实施方式提供了一种用于从提取自单个2D图像的2D线重建3D世界坐标系中的3D线的方法。3D线能够用于场景重建。方法基于从2D图像提取的线的3D重建，使用消失点、正交结构和考虑线之间的所有看起来真实的连接约束的优化过程。 对图像中在结合点处大致交叉的线进行识别。然而，只有相对较少的结合点对应于3D场景中的真实交叉。该方法使用了线性规划(LP)来识别足以毫无疑义地重建线的最少数目的最少违反连接约束。 与已知的主要关注于利用严重限制假设的表现良好的合成(图形)线绘制的LP解相反地，该方法能够从真实世界图像重建场景。 【专利附图】【附图说明】 图1是根据本专利技术的实施方式的从单个2D图像中的2D线重建3D世界坐标系中的3D线的方法的框图； 图2A、图2B和图2C是截角正四面体的合成线绘制； 图3是根据本专利技术的实施方式的包括线的室外场景的2D图像； 图4是根据本专利技术的实施方式的线、交叉和约束的示意图； 图5是根据本专利技术的实施方式的约束图形； 图6是根据本专利技术的实施方式的图像平面中的交叉线的示意图；以及 图7是根据本专利技术的实施方式的结合点的示意图。 【具体实施方式】 本专利技术的实施方式提供了一种从单个图像中的2D线重建3D世界坐标系中的3D线的方法。重建线能够然后用于从2D图像重建三维(3D)场景。 图1示出了提取方法。在相机校准和估计2D图像101的取向之后，对线进行检测，估计消失点，并且对线进行聚类110。从线聚类115，我们使用共线性和正交性约束生成120约束图形125。从该图形，我们针对约束图形中的顶点确定基于结合点135的惩罚项。 线性规划(LP) 140和最小生成树150用于重建1603D世界坐标系中的3D线。3D线然后能够用于重建170场景。 现在更详细地描述这些步骤。能够在连接到现有技术中已知的存储器和输入/输出接口的处理器中执行。 相机对齐 我们的方法使用了其中每条3D线被沿着这些正交轴中的一个对齐的3D世界(曼哈顿)坐标系。为了实现这一点，我们确定相对于世界的相机取向并且执行所需的旋转。 我们确定三个消失点vpx、vpy和vpz。使用消失点中的两个，我们能够确定2D相机坐标系与3D世界坐标系之间的旋转R。该旋转用于将相机线取向为使得我们重建的线与真实世界坐标系对齐。 对于具有相机矩阵K的校准相机，图像平面中的每个像素P U，y)对应于由单位向量(dp = Rr1 (x y 1)τ.)给出的世界坐标系中的3D投影线。其中，dxp、dyp和dzp表示方向向量dp的X、y和z分量。 提取线 在用于线绘制的SVR中，结合点和线标记能够用于理解3D对象的结构。结合点是两个或更多线交叉的点。基于2D图像坐标系中的线的角度和取向，能够将结合点分类为L、T、Y 或 W。 图2Α、图2Β和图2C示出了截角正四面体的线绘制。顶点Α、Β和C对应于W结合点，并且顶点D、E和F对应于Y结合点。在合成线绘制中直接检测结合点。在检测到结合点之后，入射线被标记以表示凸(+)、凹(_)和遮挡线(一一)。遮挡标记的方向指示遮挡面。 使用相机校准，已知图像中的每个像素的投影线。来自3D空间中的线绘制的所有约束是线性不等式。例如，四元组(Α，B, C，D)位于单个平面上。线标记使得D比A更靠近相机。这样的约束能够写为线性不等式的形式。如果线性规划具有可行解，则线绘制在物理上是可实现的。通过研究这些线性系统的秩，我们能够理解线绘制何时具有多个3D解释，或不具有3D解释。 我们产生了线性不等式的系统以沿着投影线提取3D点。我们的解不同于传统的解，这是因为真实世界图像施加了完全不同的挑战，其难以仅使用几何和组合结构来进行建模。 图3示出了具有建筑物和线的3D场景的图像。不容易了解哪些3D点在真实世界图像中位于平面上以及哪些点没有。由于丢失和虚假的线，我们不能够以非常高的信心来检测结合点。 我们不具有来自检测到的结合点的平面约束或硬性不等式。此外，真实场景具有很多错误的交叉，这始终导致不可行的解。为了解决这些真实世界挑战，我们没有从看到的结合点获得任何硬性约束。相反地，关于结合点的证据用于通知LP中的惩罚项来获得一致的3D结构。 约束图形 图3中的真实世界图像对于线检测施加了若本文档来自技高网...

【技术保护点】
一种从场景的单个图像中的二维2D线重建3D世界坐标系中的三维3D线的方法，所述方法包括下述步骤：使用消失点对所述2D线进行检测和聚类；生成顶点和边缘的约束图形，其中，所述顶点表示所述2D线，并且所述边缘表示对于所述2D线的约束；识别在所述3D线上满足的对于所述2D线的所述约束；以及使用所识别的约束重建所述3D世界坐标系中的所述3D线。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S·拉姆阿里加姆，M·布兰德，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP