组合用于三维建模的窄基线和宽基线立体制造技术

在实施例中，一种方法从由一个或多个相机自不同视角拍摄的地理区域的多个图像确定三维模型。该方法包括使用第一立体重构技术，(i)由多个图像确定多个三维候选表面点，以及(ii)确定多个图像中的哪些图像查看多个候选表面点中的每一个。该方法还包括识别多个候选表面点中的每一个与用于被确定为查看候选表面点的相应图像的每一相机模型之间的空白空间。该方法进一步包括对于来自多个图像的多个图像对中的每一个，使用第二立体重构技术来确定用于图像对的表面估计。该方法还包括合并表面估计来识别最终表面。

【技术实现步骤摘要】
【国外来华专利技术】组合用于三维建模的窄基线和宽基线立体
[0001 ] 实施例通常涉及三维建模。
技术介绍
可以捕捉地理区域的图像。例如，多个卫星和空中摄影可以形成市区旧金山的视图。照片可以包含建筑物、树木和其他物体的图像。可以从照片提取数据来形成图像。 可以从不同视角拍摄照片。从这些照片，可以使用例如立体匹配来构建三维模型。使用立体匹配构建的模型可能不完全准确。例如，由于基础图像的变化、相机视角的不准确和立体匹配算法的限制，可能引入不准确。
技术实现思路
实施例从由一个或多个相机自不同视角拍摄的地理区域的多个数字照片图像来确定三维模型。 在实施例中，用于从由一个或多个相机自不同视角对一个地理区域拍摄的多个图像来确定三维模型的方法可以包括使用第一立体重构技术来:(i)从多个图像确定多个三维候选表面点，以及(ii)确定所述多个图像中的哪些图像查看所述多个候选表面点中的每一个。该方法还可以包括识别所述多个候选表面点中的每一个与用于被确定为查看所述候选表面点的相应图像的每一相机模型之间的空白空间。 该方法可以进一步包括对来自多个图像中的多个图像对中的每一个图像对，使用第二立体重构技术来确定用于该图像对的表面估计。确定用于该图像对的表面估计可以包括:(i)基于空白空间，确定感兴趣体积中的每一点是表面点的可能性，使得该点是表面点的可能性在该点位于空白空间内时比在该点位于空白空间外时小，以及(ii)基于该可能性，确定用于该图像对的表面估计。用来生成用于第二立体重构技术的该图像对的相机的位置之间的距离小于用来生成用在第一立体重构技术中的图像对的相机的位置之间的距离。该方法还包括合并该表面估计来识别最终表面。 还公开了系统和计算机程序产品实施例。 在下文中参考附图详细地描述了本专利技术的更多实施例、特征和优点以及本专利技术的各个实施例的结构和操作。 【附图说明】 包含在此并构成说明书的一部分的附图图示了本专利技术的实施例，并且与描述一起进一步用来说明本专利技术的原理以及使本领域的技术人员能够制造和使用本专利技术。 图1是图示根据实施例的使用第一立体重构技术来在从不同视点构成的场景中确定的三维候选表面点的图。 图2是图示根据实施例的使用第二立体重构技术来在从图像对构成的场景中确定的三维候选表面点的图。 图3是图示根据实施例的使用体素网格的各个距离测量的图。 图4是图示根据实施例的用于窄基线表面估计的有符号的距离函数的图。 图5是图示根据实施例的用于宽基线候选表面点的有符号的距离函数的图。 图6是图示根据实施例的用于宽基线立体的候选表面点和用于窄基线立体的估计表面的图。 图7是图示根据实施例的可以针对其确定有符号的距离函数的估计表面、候选表面点和横截面的图。 图8是图示根据实施例的用于图7中的横截面的平均有符号的距离函数的图，平均有符号的距离函数指示三维模型的最终表面。 图9是图示根据实施例使用两种不同的立体重构技术来确定用于三维模型的最终表面的系统的图。 图10是图示根据实施例的使用两种不同的立体重构技术来确定用于三维模型的最终表面的方法的流程图。 图11图示了实施例可以在其中被实现为计算机可读代码的示例性计算机系统。 附图中所示的每一图是图示并且可以不按比例绘制。 元件首次出现的图通常由相应参考数字的最左位表示。在图中，相同的参考数字可以表示相同或功能类似的元件。 【具体实施方式】 1.概述 I1.宽基线立体的应用 A.候选表面点 B.候选表面点的可见性 C.候选表面点的曲面法线 II1.使用第二立体重构技术来重构表面 IV.窄基线立体的应用 A.感兴趣体积 B.表面可能性的体积表示 C.表面估计 V.识别最终表面 A.有符号的距离函数 B.合并有符号的距离函数 V1.示例系统 VI1.示例方法 VII1.示例计算机实施例 1.概述 实施例包括用于三维建模的技术。可以从由一个或多个相机自不同视角拍摄的地理区域的多个图像确定三维模型。例如，可以使用计算立体来从大量空中摄影重构城市的三维模型。立体匹配找出与图像一致的点或表面。这种一致称为照片一致性，可以通过确定当投摄到所提议的表面上时，图像有多“对齐”来计算。然后，可以从多个图像重构三维模型的表面。 两种立体重构算法是宽基线立体和窄基线立体。基线可以是指用于重构的图像的相机中心之间的距离。对于窄基线，用来生成图像对的相机的位置之间的距离小于用于宽基线立体的相机的位置之间的距离。 通常，窄基线或宽基线立体被应用于重构表面的图像，但不是同时。组合窄基线立体和宽基线立体的输出来获得更准确的重构可以是有利的。 在实施例中，可以通过首先将宽基线立体应用于多个图像来重构表面。宽基线立体的输出可以是来自多个图像的多个三维候选表面点。宽基线立体可以进一步确定多个图像中的哪些图像查看多个候选表面点的每一个。在多个候选表面点中的每一个和用于被确定为查看候选表面点的相应图像的每一相机模型之间，可以识别空白空间。 宽基线立体可能具有不准确性。为减轻这些不准确性，可以将窄基线立体应用于图像对来重构表面。对于多个图像对中的每一个，窄基线立体的输出可以是用于图像对的表面估计。可以通过基于空白空间确定感兴趣体积中的每一点是表面点的可能性，来确定表面估计。该点是表面点的可能性在该点位于空白空间内时比在该点在空白空间外时小。表面点可以是指作为物体的表面的一部分的图像中的点。 基于所确定的可能性，可以确定用于图像对的表面估计。用来生成用于窄基线立体的图像对的相机的位置之间的距离小于用来生成用在宽基线立体中的图像对的相机的位置之间的距离。窄基线立体提供用于每一图像对的表面估计。可以合并用于每一图像对的表面估计来识别最终表面。以这种方式，可以使用两种不同的立体重构技术来重构表面。 为了简洁和方便，本公开引用建筑物的表面的重构。然而，应理解到，也可以重构诸如树木、山脉等等的其他物体的表面。 在下述详细描述中，对“一个实施例”、“实施例”、“示例性实施例”等等的引用指示所述的实施例可以包括特定特征、结构或特性，但每一实施例可以不必包括该特定特征、结构或特性。此外，这些短语可以不必引用同一实施例。此外，当结合实施例描述特定特征、结构或特性时，不管是否明确地描述，应当认为结合其他实施例实现这些特征、结构和特性在本领域的技术人员的知识内。 I1.宽基线立体的应用 可以从包括立体成像、计算机辅助设计(CAD)软件、光检测和测距(LIDAR)和/或数据库识别结构的各种源取得三维模型。立体重构技术可以应用于由一个或多个相机从不同视点拍摄的地理区域的多个图像。 立体重构技术的示例是宽基线立体。宽基线立体可以用来从空中重构建筑物。可以从位于航空器中的相机源，从多个位置和角度拍摄图像。例如，可以从东、西、北和南航向拍摄建筑物的图像，以及可以从几百米远的位置拍摄图像。因此，那些建筑物的视图在每一图像中可以是不同的，以及可以从不同角度看见同一表面。图像越远，可以覆盖的地理区域越宽。宽基线立体包括来自不同视点的图像并且可以同时应用于图像以重构整个场景。例如，宽基线立体可以同时应用于50-100个图像。 A.候选表面点 图1是图示根本文档来自技高网...

【技术保护点】
一种用于从由一个或多个相机自不同视角对一个地理区域拍摄的多个图像确定三维模型的方法，包括：(a)使用第一立体重构技术来：(i)从所述多个图像确定多个三维候选表面点，以及(ii)确定所述多个图像中的哪些图像查看所述多个候选表面点中的每一个；(b)识别所述多个候选表面点中的每一个候选表面点与用于在(a)中确定为查看该候选表面点的相应图像的每一相机模型之间的空白空间；(c)对于来自所述多个图像中的多个图像对中的每一个图像对，使用第二立体重构技术来确定用于该图像对的表面估计，确定用于该图像对的表面估计(c)包括：(i)基于在(b)中识别的空白空间，确定感兴趣体积中的每一点是表面点的可能性，使得所述点是表面点的可能性在所述点在所述空白空间内时比在所述点在所述空白空间外时小；以及(ii)基于在(c)(i)中确定的可能性，确定用于该图像对的表面估计，其中，用来生成用于所述第二立体重构技术的该图像对的相机的位置之间的距离小于用来生成用在所述第一立体重构技术中的图像对的相机的位置之间的距离；以及(d)合并在(c)中确定的表面估计来识别最终表面。

【技术特征摘要】
【国外来华专利技术】2012.05.25 US 13/480,8751.一种用于从由一个或多个相机自不同视角对一个地理区域拍摄的多个图像确定三维模型的方法，包括: (a)使用第一立体重构技术来:(i)从所述多个图像确定多个三维候选表面点，以及(?)确定所述多个图像中的哪些图像查看所述多个候选表面点中的每一个； (b)识别所述多个候选表面点中的每一个候选表面点与用于在(a)中确定为查看该候选表面点的相应图像的每一相机模型之间的空白空间； (c)对于来自所述多个图像中的多个图像对中的每一个图像对，使用第二立体重构技术来确定用于该图像对的表面估计，确定用于该图像对的表面估计(c)包括: (i)基于在(b)中识别的空白空间，确定感兴趣体积中的每一点是表面点的可能性，使得所述点是表面点的可能性在所述点在所述空白空间内时比在所述点在所述空白空间外时小；以及 (?)基于在(c)⑴中确定的可能性，确定用于该图像对的表面估计， 其中，用来生成用于所述第二立体重构技术的该图像对的相机的位置之间的距离小于用来生成用在所述第一立体重构技术中的图像对的相机的位置之间的距离；以及 (d)合并在(C)中确定的表面估计来识别最终表面。2.如权利要求1所述的方法，其中，将所述感兴趣体积中的每一点是表面点的可能性表示为体素网格，所述方法进一步包括: (e)确定所述体素网格中的每一点和在(c)(?)中确定的表面估计之间的最短距离；以及 (f)基于在(e)中确定的最短距离，确定用于所述体素网格中的每一点的有符号的距离函数， 其中，所述合并⑷包括合并在(f)中确定的有符号的距离函数。3.如权利要求2所述的方法，其中，所述确定(a)包括对于所述多个候选表面点中的每一个，确定曲面法线，所述方法进一步包括: (g)基于所述曲面法线，确定用于所述多个候选表面点中的每一个的表面估计；以及 (h)对于在(g)中确定的每一表面估计，确定有符号的距离函数， 其中，所述合并⑷包括合并在(h)中确定的有符号的距离函数。4.如权利要求1所述的方法，其中，所述确定(a)包括将指示空白空间的可见光线提供为输出并且所述识别空白空间(b)包括识别所述可见光线。5.如权利要求1所述的方法，进一步包括基于所述候选表面点来识别所述感兴趣体积。6.如权利要求1所述的方法，其中，所述确定用于图像对的表面估计(c)(?)包括识别具有作为与阈值匹配的表面点的可能性的点。7.如权利要求6所述的方法，其中，包括在所述空白空间中的三维点不满足所述阈值。8.如权利要求1所述的方法，其中，确定表面估计(c)(?)包括增加图形加权，使得所述表面估计通过满足阈值的点并且不通过所述空白空间。9.如权利要求1所述的方法，其中，确定感兴趣体积中的每一点是表面点的可能性(c)(i)包括:确定包括在所述感兴趣体积中的点的平面，并且将被确定为查看所述点的图像投影在所述平面上。10.如权利要求1所述的方法，其中，所述第一立体重构技术是宽基线立体以及所述第二立体重构技术是窄基线立体。11.如权利要求1所述的方法，其中，所述图像中的每一个是地理区域的倾斜图像。12.如权利要求1所述的方法，其中，所述最终表面是所述地理区域的表示。13.一种用于从由一个或多个相机自不同视角对一个地理区域拍摄的多个图像确定三维模型的系统，包括: 至少一个计算装置； 在所述至少一个计算装置上实现的宽基线立体引擎，所述宽基线立体引擎被配置成:(i)从所述多个图像确定多个三维候选表面点，以及(ii)确定所述多个图像中的哪些图像查看所述多个候选表面点中的每一个； 在所述至少一个计算装置上实现的空白空间识别器，所述空白空间识别器被配置成:识别所述多个候选表面点中的每一个候选表面点与由所述宽基线立体引擎确定为查看该候选表面点的相应图像的每一相机模型之间的空白空间； 在所述至少一个计算装置上实现的感兴趣体积识别器，所述感兴趣体积识别器被配置成:对于来自所述多个图像中的多个图像对中的每一个图像对，识别该图像对中的感兴趣体积； 在所述至少一个计算装...

【专利技术属性】
技术研发人员：戴维·盖洛普，阿莱克希·戈洛温斯基，迈克尔·红迈·林，蒂尔曼·赖因哈特，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US