用于对物体的三维几何模型着色的方法和装置制造方法及图纸

本公开涉及用于对物体的三维几何模型着色的方法和装置。根据本公开的用于对物体的三维几何模型着色的方法包括：基于拍摄物体得到的多个彩色图像构造所述物体的三维几何模型；执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。根据本公开的技术，可以在没有关于物体的二维彩色图像的深度信息的情况下准确和快速地建立物体的三维几何模型与二维彩色图像之间的空间对应关系，从而对三维几何模型着色。

【技术实现步骤摘要】
用于对物体的三维几何模型着色的方法和装置
本公开涉及用于对物体的三维几何模型着色的方法和装置。
技术介绍
目前，三维几何模型已被广泛地用在各种应用中，诸如增强现实、数字博物馆和三维打印。随着各种三维扫描仪的普及，可以更便利地获得三维几何模型。通常说来，物体的三维几何模型的构建包括两个主要步骤，即几何重建和颜色映射。具体地，在几何重建的步骤中，通过相机姿态估计基于三维物体的深度图来重建三维物体的几何模型，随后在颜色映射的步骤中，根据从三维几何模型到彩色图像的映射来计算三维几何模型中的三维点的颜色。在现有技术的方法中，深度图和彩色图像是由同一设备捕获的，而且所对应的深度图和彩色图像几乎是被同时捕获的。因而，通常认为与每对深度图和彩色图像相关的相机姿态是相同或相似的。由于在几何重建的步骤中已对所有深度图的相机姿态进行了估计，因此所估计的相机姿态可以在颜色映射的步骤中用作参考。具体地，在颜色映射的步骤中，对于成对的深度图和彩色图像，可以将基于深度图估计的相机姿态直接应用于彩色图像。然而，在一些应用中，深度图和彩色图像是由不同的设备捕获的。例如，深度图是通过三维扫描仪捕获的，而彩色图像是由高分辨率或高清晰度的数码相机捕获的。在该情况下，物体的三维几何模型和彩色图像是可用的，但是在三维几何模型和彩色图像之间的对应关系是未知的。显然，在这些应用中，传统的三维几何模型的构建方法是不适用的。因此，需要提供一种能够利用物体的二维的彩色图像对物体的三维几何模型进行着色的技术。
技术实现思路
在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本公开的目的在于提供能够利用物体的二维的彩色图像对物体的三维几何模型进行着色的方法和装置。通过本公开的方法和装置，在仅给定物体的二维彩色图像和三维几何模型的情况下，能够准确和快速地建立物体的二维彩色图像与三维几何模型的空间对应关系，从而对三维几何模型着色，即确定三维几何模型中的三维点的颜色。为了实现本公开的目的，根据本公开的一个方面，提供了一种用于对物体的三维几何模型着色的方法，其包括：基于拍摄物体得到的多个彩色图像构造物体的三维几何模型；执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。根据本公开的另一方面，提供了一种用于对物体的三维几何模型着色的装置，其包括：构造单元，用于基于拍摄物体得到的多个彩色图像构造物体的三维几何模型；对准单元，用于执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及映射单元，用于基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。根据本公开的再一方面，还提供了能够实现上述的用于对物体的三维几何模型着色的方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述的用于对物体的三维几何模型着色的方法的计算机程序代码。通过根据本公开的用于对物体的三维几何模型着色的技术，较之现有技术，可以在没有关于物体的二维彩色图像的深度信息的情况下准确和快速地建立物体的三维几何模型与二维彩色图像之间的空间对应关系，从而对三维几何模型着色。附图说明参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：图1是示出根据本公开的实施例的用于对物体的三维几何模型着色的方法的流程图；图2是示出根据本公开的实施例的用于基于多个彩色图像构造三维几何模型的方法的流程图；图3是示出世界坐标系、图像坐标系和相机坐标系之间的关系的示意图；图4是示出了根据本公开的实施例的用于对物体的三维几何模型着色的装置的框图；以及图5是示出可用来实现根据本公开的实施例的用于对物体的三维几何模型着色的方法和装置的通用机器的结构简图。具体实施方式在下文中将结合附图对本公开的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。根据本公开的用于对物体的三维几何模型着色的技术基于如下思想。由于仅给出物体的三维几何模型和多个二维彩色图像，但是没有提供关于二维彩色图像的深度信息，因此根据本公开的技术首先利用物体的二维彩色图像估计拍摄二维彩色图像的相机的姿态以及据此构造物体的三维几何模型，随后将所构造的三维几何模型与给定的三维几何模型对准，并且将所估计的相机姿态变换到给定的三维几何模型所在的坐标空间中，最后通过将所估计的相机姿态作为参考，得到最终的颜色映射关系。图1示出了根据本公开的实施例的用于对物体的三维几何模型着色的方法100的流程图。如图1中所示，方法100开始于步骤S101。随后，在步骤S102中，基于拍摄物体得到的多个彩色图像构造物体的三维几何模型。接着，在步骤S103中，执行所构造的三维几何模型与物体的给定的三维几何模型的对准。随后，在步骤S104中，基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。最后，方法100结束于步骤S105。下面将对方法100的步骤S102至S104的操作进行更详细的描述。根据本公开的实施例，方法100的步骤S102可以通过用于基于多个彩色图像构造三维几何模型的方法200来实现。图2是示出根据本公开的实施例的用于基于多个彩色图像构造三维几何模型的方法200的流程图。在方法200中，基于对拍摄多个彩色图像的相机的姿态的估计来构造三维几何模型。如图2中所示，方法200开始于步骤S201。随后，在步骤S202中，检测多个彩色图像中的关键点。接着，在步骤S203中，基于检测到的关键点之间的相似度确定多个彩色图像中的彼此匹配的关键点。可以采用多种方法来检测彩色图像中的关键点并且进行不同彩色图像中的关键点的匹配。例如，可以提取彩色图像中的角点和边缘作为关键点，并且通过对这样的提取的多个彩色图像中的关键点的某些特征进行比较来确定匹配的关键点。此外，根据本公开的一个实施例，可以通过尺度不变特征变换(SIFT)方法来实现步骤S202和S203中的处理。SIFT方法可用于在不同尺度空间上寻找彼此匹配的关键点，其特点在于对图像缩放、旋转甚至仿射变换保持不变性。在通过SIFT方法实现步骤S202和S203中的处理的情况下，可以通过SIFT特征提取操作和SIFT特征匹配操作来分别实现步骤S202和S203中的处理。具体地，在用于实现步骤S202中的处理的SIFT特征提取操作中，针对每个彩色图像构建尺度空间，检测极值点以获得关键点，并且对关键点附加与方向和邻域相关的局部特征以形成SIFT特征向量。随后，在用于实现步骤S203中的处理的SIFT特征匹配操作中，通过对彩色图像中的关键点本文档来自技高网...

【技术保护点】
1.一种用于对物体的三维几何模型着色的方法，包括：基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型；执行所构造的三维几何模型与所述物体的给定的三维几何模型的对准；以及基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上。

【技术特征摘要】
1.一种用于对物体的三维几何模型着色的方法，包括：基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型；执行所构造的三维几何模型与所述物体的给定的三维几何模型的对准；以及基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上。2.根据权利要求1所述的方法，其中，基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型的步骤包括：检测所述多个彩色图像中的关键点；基于检测到的关键点之间的相似度确定所述多个彩色图像中的彼此匹配的关键点；基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点，所述三维点形成稀疏点云；以及对所述稀疏点云进行扩展来构造所述物体的三维几何模型。3.根据权利要求2所述的方法，其中，基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点的步骤包括：通过使所述三维点在所述多个彩色图像中的投影点与相应的关键点尽量接近来计算相机姿态以及所述三维点。4.根据权利要求2所述的方法，其中，对所述稀疏点云进行扩展来构造所述物体的三维几何模型的步骤包括：对于构成所述稀疏点云的三维点附近的三维点，如果该三维点在所述多个彩色图像中的投影点的颜色彼此接近，则将该三维点视为用于扩展所述稀疏点云的三维点。5.根据权利要求2所述的方法，其中，执行所构造的三维几何模型与所述给定的三维几何模型的对准的步骤包括：指定所构造的三维几何模型和所述给定的三维几何模型中的彼此对应的特征点；基于所述特征...

【专利技术属性】
技术研发人员：李斐，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP