根据2D图像序列进行3D场景重构的方法技术

本发明专利技术涉及一种以如下方式进行交互和迭代重构的系统和方法：通过根据可得数据的子集产生模型然后使用附加数据细化该模型，来帮助减小计算要求。涉及场景重构的示范实施例通过首先根据２Ｄ图像的子集产生３Ｄ场景的模型来根据该场景的多个２Ｄ图像重构３Ｄ场景。然后可使用子集中的每个图像的特定特性来细化模型，所述特定特性是使用子集中的其它图像来计算的。使用不在原始子集中的图像来进一步细化模型。

【技术实现步骤摘要】

本专利技术总体而言涉及计算才几重构，更具体而言涉及〗吏用2维(2D) 到3维(3D)转换的场景重构。
技术介绍
人类以三个空间维度来感知世界。遗憾的是，大多数当前创建的 图像和视频实质上是2D的。如果我们能够使这些图像和视频注入3D 信息，那么我们不仅将增强它们的功能，还可从中得到多很多的乐趣。 然而，使2D图像和视频注入3D信息常常需要根据描绘的原始2D 数据完全重构场景。可使用给定的图像集合来创建观察器的模型以及 场景中物体的才莫型(达到足够的细节水平)，使得能够产生场景的逼 真的更迭视角的图像。场景的模型因此包含场景中物体的几何和相关 联的图像数据以及用来捕捉那些图像的相机的几何。在重构这些场景时，常常需要提取2D图像中的特征(如物体的 边缘)并且确定它们相对于相机的位置。各种物体特征的3D位置的 差异与多个图像的不同相机位置相结合，导致了在2D图像中捕捉到 的特征的3D到2D投影的相对差异。通过确定2D图像中特征的位 置，并且比较从不同相机位置摄取的图像中这些特征的相对位置，可 确定特征的3D位置。到的多个2D、图像。然后可找到点对应的集合，这允^^计算几何属性，如每个图像的相机位置和取向。这确定了在2D图像中找到的特征的 3D坐标。4艮多当前的相机校准方法如机器人视觉和卫星成<象与全自 动相适应。荷兰Kluwer学术出版社的7 ^7iflftV fl/ CVwi/7"tef 的第59巻，第3号，207-232页，2004年9月的M. Pollefeys等人的"Visual Modeling with a Hand-Held Camera"描 述了使用手持式摄像机来重建3D场景的过程。在此过程中，摄像师 控制相机，并从多个视角收集物体的图像。然后处理视频序列中的图 像以获得适用于立体3D投影的物体的重构。然而，当前相机校准方法仍存在基本问题。例如，典型的动画将 具有非常大的且预定的图像集合，其(为了相机和场景重构的目的) 可能包含无关的或低亮度的图像、具有不足的视角变化、以及包含具 有变化的几何和图像数据的物体。公知的相机校准方法也不能利用其 它应用的处理器节省方面，所述其它应用诸如机器人导航应用，其尽 管不得不使用冗长的和低质量的图像实时地工作，却可将注意力限制 于感兴趣的特定区域并且不需^成分段物体的图像数据。另外，现有的相才几校准方法并非理想地适用于场景重构。其原因 包括过重计算负担、不足的场景细化工具、以及从图像中提取的点云 不充分表达特定于模型的几何(如线和平面)。由于这些方法单步地 将所有的用于重构的所有帧上的提取特似目关联，所以过重计算负担 常常出现。另夕卜，现有方法可能不提供与用户的足够交互性，而用户 可利用场景内容的用户知识来改进重构。现有技术也不很适用于诸如动画的事物的2D到3D转换。现有 技术通常不能虑及动态物体，它们通常使用点云作为模型，其不足以 进行再现，并且它们不适应非常大的输入图像集合。这些技术通常也 不适应场景几何的变化的细节水平，不允许对物体或相M型的附加 几何约束，不提供利用相异场景(例如相同布景，不同道具)之间的 共享几何的手段，并且不具有场景模型的交互细化。
技术实现思路
本专利技术涉及一种以如下方式进行交互和迭代重构的系统和方法 通过根据可得数据的子集产生模型然后使用附加数据细化该模型，来 帮助减小计算要求。涉及场景重构的示范实施例通过首先根据2D图像的子集产生3D场景的模型来根据该场景的多个2D图像重构3D 场景。然后可使用子集中的每个图像的特定特性来细化模型，所述特 定特性是使用子集中的其它图像来计算的。使用不在原始子集中的图 像来进一步细化模型。一个说明性实施例使用较小数目的关键2D帧内的减少数目的用 户所选关键点来对那些帧执行3D场景重构的初始计算。这样的本发 明实施例可帮助进行多方面的迭代改进，其可提高精确度并且减小重 构过程的计算要求。这些改进可包括重新考虑在初始重构中4吏用的关 键帧和关键顶点的选择的能力。这些改进还可包括通过后方交会 (resection)过程为中间帧计算的相机位置。在一个实施例中，后方 交会基于已知3D几何的观察投影。这些改进还可包括可通过三角测 量过程来添加的网格细节(mesh detail)。在一个实施例中，三角测 量基于根据更迭帧计算的相机几何以及那些帧中的该细节的观察投 影。本专利技术诸实施例亦可允许用户以粗略三角网格(或其中网格顶点 规定感兴趣特征的任何网格)的形式规定特征点，而不是让软件自动 产生所有特征点。尽管自动特征检测软件与用户相比可产生较多的特 征，但用户能够规定感兴趣特征的集合。这于是减小了计算负担。本 专利技术诸实施例亦可允许使用关鍵帧来进行初始场景估计，而不是使每 个帧具有均一的权重。例如，可从由于显著相机几何差异而彼此偏移 的帧的集合中选择关键帧。本专利技术诸实施例亦可允许用户控制如下选择:在重构中4吏用哪些 帧和重构物体中哪些细节，以及所用图像的顺序。此外，本专利技术诸实 施例可允许将图像分段为静态和动态区，其中可使用迭代计算进一步 改进分段。前面已颇为宽泛地略述了本专利技术的特征和技术优点，以便可以更 好地理解后面的本专利技术的详细描述。下文中将描述构成本专利技术权利要 求主题的本专利技术的附加特征和优点。本领域技术人员应该理解，所公专利技术目的的其它i构的基础。本领域技术义员还应该认识到，这样的 等价构造不脱离所附权利要求中阐述的本专利技术的精神和范围。根据以 下结合附图考虑的描述，将更好地理解被认为是本专利技术(关于其工作 方法和组织)的特性的新颖特征以及其它目的和优点。然而，应该清楚地理解，提供每个图仅是为了说明和描述，而并非旨在作为对本发 明范围的限定。附图说明为了更全面地理解本专利技术，现在参考以下结合附图进行的描述，在附图中图1图示了从多个相机位置捕捉示范三维场景；图2图示了示范三维场景的多个二维图像；图3是图示了根据本专利技术一个实施例的场景重构的流程图；以及图4图示了根据本专利技术一个实施例设置的场景重构的系统。具体实施方式当开始于由移动相机或不同位置的多个相机捕捉到的2D图像序 列时，3D场景重构通常涉及组^^目*1^准与物体重构，这将产生场 景中物体和相机的几何。例如，如果相机从房间中不同位置捕捉了多 个图像，通常将需要确定表示相机移动的3D几何以及用于房间中特 征(如墙、家具和其它物体)的三角网格。图1示出了场景10，其中相机100处于由收集曲线110联接的多 个位置1001-1006。场景10包括物体101和102。物体101具有诸如 平表面1011和边缘1012的特征，其可分别以三角网裆^表示为平面和 线。物体102具有特征1021,在由相机100在位置1001-1006中的一 些位置捕捉到的2D图像中，特征1021可被物体101遮蔽。图2A-2F示出了相机100分别在位置1001-1006 (未示出)观察 而捕捉到的场景10的图像2001-2006。在每个图像2001-2006中，物 体101遮蔽了物体102的不同位置。特征1021在图4象2002、 2003和 2006中被部分遮蔽，在图像2004和2005中被完全遮蔽，而在图4象 2001中完全可见。图3示出了一个说明性实施例用来根据2D图像集合重构本文档来自技高网...

【技术保护点】
一种场景重构方法，包括：　　　　获得表示场景的至少两个视角的所述场景的多个图像；　　　　使用所述图像的第一子集产生所述场景的模型；　　　　使用所述第一子集的所述图像计算所述第一子集中的每个所述图像的所述视角；并且　　　　使用所述图像的第二子集以及所述计算视角细化所述模型，其中，所述第二子集包括至少一个不在所述第一子集中的图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：大卫A斯普纳，桑尼昌，克里斯托弗L西蒙斯，
申请(专利权)人：转换器有限公司，
类型：发明
国别省市：CA[加拿大]