提供了一种使用二维图像进行场景的三维获取和建模的系统和方法。本公开提供了一种系统和方法，用于选择和组合最适合考虑中的捕捉环境和条件并且因而产生更精确的三维模型的三维获取技术。该系统和方法提供用于：获取场景的至少两个二维图像（２０２），将第一深度获取功能应用于所述至少两个二维图像（２１４），将第二深度获取功能应用于所述至少两个二维图像（２１８），将所述第一深度获取功能的输出与所述第二深度获取功能的输出组合（２２２），并且从所组合的输出生成视差或者深度图。所述系统和方法还提供用于从所生成的视差或者深度图重构场景的三维模型。
【技术实现步骤摘要】
【国外来华专利技术】
本公开总地涉及三维对象建模，并且更具体地涉及用于从二维(2D)图像进行三维(3D)信息获取的系统和方法，所述三维(3D)信息获取组合多个3D获取功能，用于真实世界场景的3D信息的精确恢复。
技术介绍
当拍摄场景时，所产生的视频序列包含关于该场景的三维(3D)几何形状(geometry)的隐含信息。尽管对于充分的人的感觉来说此隐含信息是足够的，但是对于许多应用来说要求3D场景的确切几何形状。这些应用中的一类是在使用复杂的数据处理技术时、例如在生成场景的新视图或者在重构用于工业检查应用的3D几何形状时。 从单个或者多个图像生成3D模型的处理对于许多电影后期制作应用是重要的。恢复3D信息作为活跃的研究领域已经有一段时间了。在文献资料中，存在大量的以下技术所述技术或者例如使用激光测距仪(laser rangefinder)来直接捕捉3D信息，或者从一个或多个诸如来自运动技术的立体照片(stereo)或结构之类的二维(2D)图像恢复3D信息。3D获取技术总地可被分类为主动和被动方式、单视图和多视图方式、以及几何和光度(photometric)方法。 被动方式从在规则照明条件下拍摄的图像或者视频获取3D几何形状。使用从图像和视频提取的几何或者光度特征计算3D几何形状。主动方式使用诸如激光、结构光(structured light)、或者红外光之类的特殊光源。主动方式基于对象和场景对于投射到所述对象和场景的表面上的特殊光的响应来计算几何形状。 单视图方式使用从单个照相机视点拍摄的多个图像来恢复3D几何形状。例子包括来自运动的结构和来自散焦的深度。 多视图方式从多个图像恢复3D几何形状，所述多个图像是从由对象运动产生的或者具有不同的光源位置的多个照相机视点拍摄的。立体照片匹配是通过使立体照片对中的左图像和右图像中的像素匹配以获得像素的深度信息而进行多视图3D恢复的例子。 几何方法通过检测诸如单个或多个图像中的角、边沿、线、或者外形之类的几何特征来恢复3D几何形状。可以将所提取的角、边沿、线、或者外形之间的空间关系用于推断图像中的像素的3D坐标。来自运动的结构(Structure From Motion, SFM)是尝试从由在场景内移动的照相机或者静止照相机和移动的对象拍摄的图像的序列来重构该场景的3D结构的技术。尽管许多人同意SFM在根本上是非线性问题，但是已经做出了将SFM线性地表示的一些尝试，所述尝试提供数学简洁性(mathematical elegance)以及直接求解的方法。另一方面，非线性技术要求进行迭代优化，并且必须应付局部最小值。然而，这些技术预示良好的数值精度和灵活性。SFM相对于立体照片匹配的优势在于需要一个照相机。可以通过利用特征的运动的过去历史以预测下一帧中的视差的跟踪技术来使基于特征的方式更有效。其次，由于两个连续的帧之间的较小的空间和时间差别，对应的问题也可以被当作估计图像亮度图案的视动(即parent motion)的问题，所述视动被称作光流。存在一些使用SFM的算法；它们中的大多数基于从2D图像来重构3D几何形状。 一些算法假定已知的对 应值，其它的算法使用统计方式来在没有对应的情况下进行重构。 光度方法基于由场景表面的朝向产生的图像斑纹(patch)的阴暗或阴影恢复3D 几何形状。 上述方法已经被广泛研究了数十年。然而，没有单独一个技术在所有情况下表现 良好，过去的方法中的大多数致力于在使重构相对容易的实验室条件下的3D重构。对于真 实世界场景，主体(subject)可能在运动中，照明可能是复杂的，并且深度范围可能较大。 上述技术难以处理这些真实世界条件。例如，如果存在前景和背景对象之间的较大的深度 不连续，则立体照片匹配的搜索范围必须被显著地增大，这可能造成不可接受的计算成本 以及额外的深度估计误差。
技术实现思路
提供了一种使用二维(2D)图像进行场景的三维(3D)获取和建模的系统和方法。 本公开提供了一种系统和方法，用于选择和组合最适合考虑中的捕捉环境和条件并且因而 产生更精确的3D模型的3D获取技术。所使用的技术取决于考虑中的场景。例如，在室外 场景中，立体照片被动技术将与来自运动的结构一起使用。在其它情况下，主动技术可能更 合适。组合多个3D获取功能导致比如果仅使用一个技术或功能时更高的精确度。将组合 多个3D获取功能的结果以获得可被用于生成完整的3D模型的视差或者深度图。此项工作 的目标应用是胶片组(film set)的3D重构。所产生的3D模型可以被用于在电影拍摄期 间的可视化或者被用于后期制作。其它应用将受益于此方式，所述其它应用包括但不限于 游戏以及采用2D+深度格式的3D TV。根据本公开的一方面，提供了三维(3D)获取方法。所述方法包括获取场景的至 少两个二维(2D)图像；将第一深度获取功能应用于所述至少两个2D图像；将第二深度获 取功能应用于所述至少两个2D图像；将所述第一深度获取功能的输出与所述第二深度获 取功能的输出组合；并且从所组合的第一和第二深度获取功能的输出生成视差图。 另 一方面，该方法还包括从所述视差图生成深度图。 又一方面，所述方法包括从所生成的视差或者深度图重构场景的三维模型。 根据本公开的另一方面，一种用于从二维(2D)图像进行三维(3D)信息获取的系 统包括用于获取场景的至少两个二维(2D)图像的部件；3D获取模块，其被配置用于将第 一深度获取功能应用于所述至少两个2D图像，将第二深度获取功能应用于所述至少两个 2D图像，并且将所述第一深度获取功能的输出与所述第二深度获取功能的输出组合。所述 3D获取模块还被配置用于从所组合的第一和第二深度获取功能的输出生成视差图。 根据本公开的又一方面，提供了一种可由机器读取的程序存储装置，所述程序存 储装置有形地体现可由所述机器执行以进行用于从二维(2D)图像获取三维(3D)信息的方 法步骤的指令的程序，所述方法包括获取场景的至少两个二维(2D)图像；将第一深度获取功能应用于所述至少两个2D图像；将第二深度获取功能应用于所述至少两个2D图像；将所述第一深度获取功能的输出与所述第二深度获取功能的输出组合；并且从所组合的第 一和第二深度获取功能的输出生成视差图。附图说明 根据将结合附图阅读的以下优选实施例的详细描述，本公开的这些和其它方面、 特征和优点将被描述或变得显而易见。 附图中，其中贯穿各视图，类似的参考标号代表类似的元件。图1是根据本公开的一方面的用于三维(3D)深度信息获取的示例系统的图示； 图2是根据本公开的一方面的用于从二维(2D)图像重构三维(3D)对象或者场景 的示例方法的流程图； 图3是根据本公开的一方面的用于3D深度信息获取的示例双通道方法的流程 图； 图4A图示了双输入立体照片图像，并且图4B图示了双输入结构光图像； 图5A是由图4B中所示的立体照片图像生成的视差图； 图5B是由图4A中所示的结构光图像生成的视差图； 图5C是使用简单平均组合方法从图5A和图5B中所示的视差图的组合产生的视 差图； 图5D是使用加权平均组合方法从图5A和图5B中所示的视差图的组合产生的视 差图。 应理解附图是用于图示本公开的构思的目的，并不一定是用于图示本公开的唯 一可能的配本文档来自技高网...
【技术保护点】
一种三维获取方法，包括：获取场景的至少两个二维图像（２０２）；将第一深度获取功能应用于所述至少两个二维图像（２１４）；将第二深度获取功能应用于所述至少两个二维图像（２１８）；将所述第一深度获取功能的输出与所述第二深度获取功能的输出组合（２２２）；并且从所组合的第一深度获取功能和第二深度获取功能的输出生成视差图。
【技术特征摘要】
【国外来华专利技术】
【专利技术属性】
技术研发人员：伊扎特H伊扎特，张冬青，安娜B贝尼特斯，
申请(专利权)人：汤姆森特许公司，
类型：发明
国别省市：FR[法国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。