基于置信分值来合并三维模型制造技术

在一个实施例中，一个方法对多个三维模型进行合并，该多个三维模型的每一个已从具有不同视点的相机的图像来生成。对于在多个体素中的各个体素，确定多个距离值。每一个确定的距离值是从该体素沿着用来生成来自多个三维模型的三维模型的相机模型的角度到该三维模型的距离。当所确定的距离值中的至少一个指示在该体素与该三维模型之间的距离超过阈值并且该体素位于对应三维模型之上时，确定指示对应三维模型的相机模型的视角被定向为面向该体素的程度的置信分值。基于所确定的置信分值，确定进入合并的三维模型的体素。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】在一个实施例中，一个方法对多个三维模型进行合并，该多个三维模型的每一个已从具有不同视点的相机的图像来生成。对于在多个体素中的各个体素，确定多个距离值。每一个确定的距离值是从该体素沿着用来生成来自多个三维模型的三维模型的相机模型的角度到该三维模型的距离。当所确定的距离值中的至少一个指示在该体素与该三维模型之间的距离超过阈值并且该体素位于对应三维模型之上时，确定指示对应三维模型的相机模型的视角被定向为面向该体素的程度的置信分值。基于所确定的置信分值，确定进入合并的三维模型的体素。【专利说明】基于置信分值来合并三维模型
实施例总体上涉及三维建模。
技术介绍
摄影者经常从高处，诸如从飞机，拍摄地球的图像。可以从不同视角(perspective)拍摄这样的航空照片。根据航空照片,可以使用例如立体匹配来构建三维模型。使用立体匹配来构建的模型可能不是完全准确的。例如，由于隐含图像的变化、相机视角的不准确以及立体匹配算法的限制，可能会引入不准确。所构建的三维模型可以具有相关联的视角。例如，可以从相关联的视角将三维模型表示为深度图。每一个深度图可以提供在名义“相机”与场景的表面之间的每像素距离。虽然深度图可以能够描述从其相关联的视角显而易见的表面的三维特征，然而，深度图可能不能描述从其视角被遮掩的三维特征。出于这个原因，可能需要具有不同视角的多个深度图来完整地描述三维场景。
技术实现思路
实施例对使用不同视点来生成的多个深度图进行合并。在一个实施例中，一种方法对多个三维模型进行合并，该多个三维模型的每一个已从具有不同视点的相机的图像来生成。该方法包括确定在三维空间中的多个体素(voxel)。对于该多个体素中的各个体素，确定多个距离值。每一个确定的距离值是从该体素沿着用来生成三维模型的相机模型的视角到该三维模型的距离。当所确定的距离值中的至少一个指示在该体素与对应三维模型之间的距离在阈值内或该体素位于对应三维模型之上时，确定指示对应三维模型的相机模型的视角被定向为面向该体素的程度的置信分值，并且至少部分基于所确定的置信分值来确定是否将与该体素相对应的点包括入合并的三维模型。还公开了系统和计算机程序产品实施例。在下面参考附图详细地描述了本专利技术的进一步实施例、特征和优势以及本专利技术的各种实施例的结构和操作。【专利附图】【附图说明】并入本文并且形成本说明书的一部分的附图图示了本专利技术，并且与描述一起，进一步用来说明本专利技术的原理，以使相关领域技术人员能够制作并使用本专利技术。图1是图示从不同视点构建的场景的深度图的图。图2是图示根据实施例的、用于合并深度图的方法的流程图。图3是图示图1中的场景的体素网格的图。图4A-B是图示使用体素网格的距离测量的图。图5是图示如何为距离测量确定置信分值的图。图6是图示从带符号的距离场对合并的三维模型的构建的图。图7是图示根据实施例的、用于合并深度图的系统的图。元素在其中首次出现的附图典型地由相应参考数字中的一个或多个最左边数字指示。在附图中，相同的参考数字可以指示相同或功能相似的元素。【具体实施方式】如上所述，可能需要具有不同视角的多个深度图来完整地描述三维场景。为了产生整个三维场景的表示，该多个深度图可能需要被合并成单个三维表示。更大程度地合并多个深度图的一种方式可以是取得交集。为了取得交集，将移除在任何测量的深度值之上的任何体素。然而，这种技术可能遭受缺陷。具体地，深度图指示三维特征比其实际上深的任何错误测量可能被传播入合并的深度图。为了应对深度图中的噪声，其他技术可以对测量求平均来合并深度图。然而,如上所述，深度图可能仅描述从其相关联的视角显而易见的三维特征。可能根本不在深度图中表示被遮掩的三维特征。类似地，只能在深度图中以低分辨率来表示没有面向深度图的视角的特征。将这些深度图测量与来自具有三维特征的更直接视图的深度图的测量一起求平均可能降低合并的深度图的准确性。为了至少部分处理缺点，实施例基于与深度图测量相关联的置信水平来选择哪些深度图测量被合并入最终三维模型。在一个实施例中，可以使用各种深度图来确定包括多个体素的带符号的距离场。可以对带符号的距离场中的每一个体素进行估算，并且基于如何估算，可以为像素采取三个操作中的一个来帮助确定合并的三维模型。第一，给定阈值距离“t”，当带符号的距离值中的至少一个小于_t时，可以使体素保持为空(例如，为其分配大的负值)。使体素保持为空可以将该体素从合并的三维模型切割出。第二，如果任何带符号的距离值在_t和t之间，则可以将体素的带符号的距离设置成这些值的平均值。通过取得两个值的平均值，可以在该体素处合并两个合并深度图。第三，如果任何带符号的距离值大于t，则可以填充体素(即，为其分配大的正值)。以这种方式，可以对每一个体素进行切割、合并或填充来确定在合并的三维模型中的对应体素。在随后对实施例的详细描述中，对“一个实施例”、“实施例”、“示例实施例”等的引用指示所述实施例可以包括特定特征、结构或特性，但是每个实施例可以不必都包括该特定特征、结构或特性。此外，这样的短语不一定是指相同实施例。进一步，当结合实施例描述特定特征、结构或特性时，认为无论是否明确描述，结合其他实施例实现这样的特征、结构或特性在本领域技术人员的知识范围内。虽然出于说明目的，附图图示了二维截面，然而，本领域技术人员将认识到，所述截面可以表示三维元素。图1示出了图示从不同视点构建的场景的深度图的图100。图100图示了从虚拟相机102构建的三维模型112和从虚拟相机104构建的三维模型114。三维模型112和114两者均可以表示建筑物130。三维模型112和114可以是从航空或卫星图像生成的立体重构。图像可以由架空相机在各种倾斜或最低点视角拍摄。在图像中，特征被检测并且相互关联。使用已知的视角信息，从匹配的特征对三维空间中的点作三角测量。可以使用这些点来从两个图像确定立体网。以这种方式，可以从二维图像确定三维模型信息。然而，三维模型信息还可以具有相关联的视角信息。例如，可以从特定虚拟相机重构三维模型信息。在一个实施例中，可以将使用至少两个图像的立体重构来确定的立体网投影回到特定相机视点。在三维模型被表示为深度图的实施例中，投影中的每一个像素可以具有指示从名义相机视角到在该像素处的立体网的距离的值。在三维模型被表示为高度场的实施例中，投影中的每一个像素可以具有指示在该像素处的立体网的高度的值。在任一实施例中，每一个立体网自身的三维模型具有相关联的视角信息。三维模型可以是可以为其计算带符号的距离的任何其他类型的表面，例如，闭合的网或另一个带符号的距离场。在图100中，通过虚拟相机102和104图示了模型112和114的视角信息。虚拟相机102和104中的每一个可以包括为对应深度图或高度场指定视角或视点所需的所有信息。例如，每一个虚拟相机模型可以具有对应位置、朝向和视场。此外，每一个虚拟相机模型可以是正射或平行投影。为了产生单个统一三维模型，实施例将三维模型112和三维模型114进行合并。如上所述，合并模型112和114的一种方式可以是取得该两个模型的交集。然而，当应用这种技术时，指示建筑物130比其实际上低的模型112和114中的任何错误将被传播到最终合并的模型。在图本文档来自技高网...

【技术保护点】
一种用于对多个三维模型进行合并的方法，每一个三维模型是从具有不同视点的相机的图像生成的，所述方法包括：（a）确定在三维空间中的多个体素；对于所述多个体素中的各个体素：（b）确定多个距离值，每一个距离值是从所述体素沿着用来生成来自所述多个三维模型的对应三维模型的相机模型的视角到所述对应三维模型的距离；当（i）来自所述多个距离值的第一距离值指示在所述体素和与所述第一距离值相对应的所述三维模型之间的所述距离在阈值内以及（ii）来自所述多个距离值的第二距离值指示所述体素在所述阈值外并且高于与所述第二距离值相对应的所述三维模型时：（c）确定指示与所述第一距离值相对应的所述三维模型的所述相机模型的所述视角被定向为面向所述体素的程度的第一置信分值；（d）确定指示与所述第二距离值相对应的所述三维模型的所述相机模型的所述视角被定向为面向所述体素的程度的第二置信分值；以及（e）至少部分基于所确定的第一和第二置信分值来确定是否将与所述体素相对应的点包括入合并的三维模型，使得当所述第二置信分值大于所述第一置信分值达预先确定的程度时，所述体素不被包括在所述合并的三维模型中。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：布雷特·艾伦，阿列克谢·戈洛温斯基，蒂尔曼·赖因哈特，迈克尔·红迈·林，
申请(专利权)人：谷歌公司，
类型：
国别省市：