3D纹理网格的稳健合并制造技术

一种合并3D网格的方法包括：接收第一网格和第二网格；在公共世界坐标系中执行空间对齐以配准第一网格和第二网格；对第一网格和第二网格执行网格剪裁以移除冗余网格顶点；在剪裁缝周围执行几何细化以封闭由网格剪裁产生的网格连结孔；以及在与剪裁缝相邻的区域中执行纹理混合以获得合并的网格。

【技术实现步骤摘要】
【国外来华专利技术】3D纹理网格的稳健合并相关申请的交叉引用本申请要求2017年3月23日提交的序列号为15/467,851的美国非临时专利申请的权益和优先权，并要求2016年4月13日提交的序列号为62/322,081的美国临时专利申请的权益和优先权。上述专利申请的全部内容针对所有目的通过引用并入本文中。
本专利技术一般涉及计算机化的三维(3D)网格(mesh)重建，更具体地涉及用于将两个或更多个3D纹理网格合并成一个纹理网格的自动方法。
技术介绍
纹理网格是3D几何形状的常见表示，其广泛用于包括虚拟现实、科学可视化、3D拍摄、3D游戏等在内的许多图形应用中。已经引入了各种技术来通过3D扫描重建网格。然而，通过3D扫描创建精确的大型和复杂网格很繁琐且是劳动密集的。这通常是通过对齐、编辑和组合来自多个3D扫描的较小网格来手动完成的。因此，本领域中需要能够将多个网格稳健地合并成大且复杂的3D纹理模型的改进的方法和系统。
技术实现思路
根据一个实施例，一种合并3D网格的方法包括：接收第一网格和第二网格；在公共世界坐标系中执行空间对齐以配准(register)所述第一网格和所述第二网格；对所述第一网格和所述第二网格执行网格剪裁以移除冗余网格顶点；在剪裁缝周围执行几何细化以封闭由网格剪裁产生的网格连结孔；以及在与所述剪裁缝相邻的区域中执行纹理混合以获得合并网格。根据另一实施例，一种合并3D纹理网格的方法包括：接收第一和第二网格；识别所述第一网格和所述第二网格重叠的重叠区域；识别包含所述重叠区域的所述重叠区域的边界框；以及对于所述边界框内所述第一网格的每个相应顶点，搜索所述第二网格的对应最近顶点，从而建立多个匹配对。每个匹配对包括所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点。所述方法进一步包括对于所述多个匹配对中的每个匹配对：估计所述第一网格的所述相应顶点的第一法向一致连接组(NCNG)和所述第二网格的所述对应最近顶点的第二NCNG；在确定所述第一NCNG的面积与所述第二NCNG的面积之间的比率大于第一预定阈值时，将所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点分类为错误匹配对；以及从所述多个匹配对中移除所述错误匹配对。所述方法进一步包括确定要应用于所述第一网格以使所述多个匹配对中的每个匹配对中所述第一网格的相应顶点与所述第二网格的对应最近顶点之间的距离最小化的刚性变换；以及将所述刚性变换应用于所述第一网格以获得变换后的第一网格。所述方法可以进一步包括沿着所述变换后的第一网格上的第一剪裁缝以及沿着所述第二网格上的第二剪裁缝执行网格剪裁，以移除所述重叠区域中的冗余网格顶点；以及在所述第一个剪裁缝和所述第二个剪裁缝周围执行几何细化以封闭由网格剪裁产生的网格连结孔。附图说明参考以下附图根据一个或多个不同的实施例详细描述本公开。提供附图仅用于示例的目的，并且仅是示出本公开的示例性实施例。提供这些附图是为了便于读者理解本公开，而不应视为限制本公开的广度、范围或适用性。应注意，为了使示例清晰且容易，这些附图不一定按比例绘制。图1是示例出根据一些实施例合并两个或更多个3D网格的方法的简化流程图。图2示例出根据一个实施例的两个网格的图像。图3是示例出根据一个实施例执行两个网格之间的空间对齐的方法的流程图。图4A至4C是示例出根据一个实施例的空间对齐程序的示意图。图5示例出根据本专利技术实施例在空间对齐程序之后的图2所示例的两个网格的图像。图6是示例出根据一个实施例可以检测到两个网格之间的错误匹配的示例的示意图。图7A是示例出根据一些实施例的其中可以向两个网格应用网格剪裁程序的示例性体素栅格(gridofvoxels)的二维视图的示意图。图7B是示例出根据一个实施例在执行网格剪裁程序之后的图7A所示例的两个网格的示意图。图8A和8B是根据一个实施例分别在网格剪裁程序之前和之后的图5所示例的两个网格的重叠区域的图像。图9A和9B示例出根据一个实施例的几何细化程序。图10A和10B示例出根据一个实施例分别在纹理混合处理之前和之后的合并区域附近的合并网格的示例性图像。图11示例出根据一个实施例通过使用网格合并算法合并图2所示例的两个网格而得到的合并网格的图像。图12是示例出根据一个实施例合并3D网格的方法的流程图。图13是示例出根据一个实施例合并3D网格的方法的流程图。具体实施方式特定装置、技术和应用的描述仅作为示例提供。对在此所描述的示例的各种修改对于本领域的普通技术人员来说将是显而易见的，并且在不脱离本专利技术的精神和范围的情况下，在此所限定的一般原理可以应用于其它示例和应用。因此，本专利技术的实施例并不旨在限于在此所描述和示出的示例，而是符合与权利要求一致的范围。在此使用词语“示例性”来表示“用作示例或说明”。在此描述为“示例性”的任何方面或设计不一定被解释为优选或优于其它方面或设计。现在将详细参考本技术的各方面，其示例在附图中示出，其中相同的附图标记始终表示相同的元件。应当理解，在此公开的过程中的步骤的特定顺序或层次是示例性方法的示例。基于设计偏好，可以理解，在保持在本公开的范围内时，可以重新排列过程中的步骤的特定顺序或层次。所附方法权利要求以示例顺序给出了各个步骤的要素，并不意味着限于所给出的特定顺序或层次。本公开一般地涉及合并三维(3D)网格的方法。更具体地说，本公开的一些实施例涉及用于将两个或更多个3D纹理网格稳健地合并成一个大的3D纹理网格的自动方法。根据一些实施例，3D网格可以包括多边形网格。多边形网格是顶点、边和面的集合，该集合定义3D计算机图形和实体建模中多面体对象的形状。多边形网格的面可以包括三角形(三角形网格)、四边形或其它凸多边形。这些面还可以包括凹多边形、具有孔的多边形和螺旋形状。当执行大区域的3D扫描时，可以单独扫描该区域的部分以创建多个网格，其中每个网格可以表示被扫描区域的相应部分。例如，当扫描建筑物时，可以单独扫描建筑物中的每个单独房间以及走廊的部分以创建多个网格。被各个扫描覆盖的部分可能在某些区域彼此重叠。例如，一房间的扫描可能与邻近该房间入口的区域中的走廊的扫描重叠。本公开的实施例可以提供将多个网格计算机化合并成一个大网格的方法。在一些实施例中，当存在要合并成大网格中的多个输入网格时，输入网格可以按其尺寸的顺序依次被合并。例如，网格尺寸可以根据其边界框的体积来测量。边界框可以被定义为包含网格的最小矩形3D空间。在一些实施例中，可以对输入网格进行排序以获得按照网格尺寸的降序排列的序列：{M0,M1，...,Mk，...,Mn}，其中Mk是具有第k大体积的网格。合并过程可以从最大尺寸的网格开始：M＝M0。最大网格M0可以依次与序列中的其它网格合并以获得当前合并网格：M＝merge(M,Mk){k＝0,1,2......n}。例如，最大网格M0可以与第二大网格M1合并以获得合并网格M＝merge(M0,M1)；然后M与第三大网格M2合并以获得新的合并网格M＝merge(M,M2)；以此类推。仅出于说明的目的，以下将描述合并两个网格的过程作为示例来解释合并过程。应当理解，本公开的实施例不限于仅合并两个网格，并且还可以应用于合并任意数量的网格。图1是示例出根据一个实施例合并两个或更多个3D网格的方法100本文档来自技高网...

【技术保护点】
1.一种合并三维(3D)网格的方法，所述方法包括：接收第一网格和第二网格；通过以下方式执行空间对齐以相对于所述第二网格配准所述第一网格：识别所述第一网格和所述第二网格重叠的重叠区域；识别包含所述重叠区域的所述重叠区域的边界框；对于所述边界框内所述第一网格的每个相应顶点，搜索所述第二网格的对应最近顶点，从而建立多个匹配对，每个匹配对包括所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点；对于多个匹配对中的每个匹配对，通过以下方式移除一个或多个错误匹配对：估计所述第一网格的所述相应顶点的第一法向一致连接组(NCNG)和所述第二网格的所述对应最近顶点的第二NCNG；在确定所述第一NCNG的面积与所述第二NCNG的面积之间的比率大于第一预定阈值时，将所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点分类为错误匹配对；以及从所述多个匹配对中移除所述错误匹配对；确定要应用于所述第一网格以使所述多个匹配对中的每个匹配对中所述第一网格的相应顶点与所述第二网格的对应最近顶点之间的距离最小化的刚性变换；以及将所述刚性变换应用于所述第一网格以获得变换后的第一网格；沿着所述变换后的第一网格上的第一剪裁缝以及沿着所述第二网格上的第二剪裁缝执行网格剪裁，以移除所述重叠区域中的冗余网格顶点；以及在所述第一个剪裁缝和所述第二个剪裁缝周围执行几何细化，以封闭由网格剪裁产生的网格连结孔。...

【技术特征摘要】
【国外来华专利技术】2016.04.13 US 62/322,081;2017.03.23 US 15/467,8511.一种合并三维(3D)网格的方法，所述方法包括：接收第一网格和第二网格；通过以下方式执行空间对齐以相对于所述第二网格配准所述第一网格：识别所述第一网格和所述第二网格重叠的重叠区域；识别包含所述重叠区域的所述重叠区域的边界框；对于所述边界框内所述第一网格的每个相应顶点，搜索所述第二网格的对应最近顶点，从而建立多个匹配对，每个匹配对包括所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点；对于多个匹配对中的每个匹配对，通过以下方式移除一个或多个错误匹配对：估计所述第一网格的所述相应顶点的第一法向一致连接组(NCNG)和所述第二网格的所述对应最近顶点的第二NCNG；在确定所述第一NCNG的面积与所述第二NCNG的面积之间的比率大于第一预定阈值时，将所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点分类为错误匹配对；以及从所述多个匹配对中移除所述错误匹配对；确定要应用于所述第一网格以使所述多个匹配对中的每个匹配对中所述第一网格的相应顶点与所述第二网格的对应最近顶点之间的距离最小化的刚性变换；以及将所述刚性变换应用于所述第一网格以获得变换后的第一网格；沿着所述变换后的第一网格上的第一剪裁缝以及沿着所述第二网格上的第二剪裁缝执行网格剪裁，以移除所述重叠区域中的冗余网格顶点；以及在所述第一个剪裁缝和所述第二个剪裁缝周围执行几何细化，以封闭由网格剪裁产生的网格连结孔。2.根据权利要求1所述的方法，进一步包括：在所述剪裁缝附近的区域中执行纹理混合。3.根据权利要求1所述的方法，其中执行空间对齐进一步包括在确定所述刚性变换之前，对于所述多个匹配对中的每个匹配对：估计所述第一网格的所述相应顶点的第一法向矢量和所述第二网格的所述对应最近顶点的第二法向矢量；在确定所述第一法向矢量与所述第二法向矢量之间的差大于第二预定阈值时，将所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点分类为错误匹配对；以及从所述多个匹配对中移除错误匹配对。4.根据权利要求1所述的方法，其中执行网格剪裁包括：将所述重叠区域的所述边界框栅格化为体素栅格；通过使用能量函数应用能量最小化程序，将所述体素栅格中的每个体素标记为第一网格体素和第二网格体素中的一者，所述能量函数包括数据项、边界项、交叉项和纹理项；以及当所述第一网格的相应顶点在被标记为第二网格体素的体素中时，剪裁掉所述第一网格的每个该相应顶点，并且当所述第二网格的相应顶点在被标记为第一网格体素的体素中时，剪裁掉所述第二网格的每个该相应顶点。5.根据权利要求1所述的方法，进一步包括通过以下方式执行所述第一网格和所述第二网格的纹理混合：将所述重叠区域的所述边界框栅格化为纹素栅格；对于所述第一网格的每个相应纹素，识别所述第二网格的对应纹素；以及使用混合权重混合所述第一网格的每个相应纹素的纹理与所述第二网格的对应纹素的纹理，所述混合权重随着从所述相应纹素到所述剪裁缝的距离的减小而增大。6.根据权利要求1所述的方法，其中通过应用法向矢量采样算法来执行移除一个或多个错误匹配对。7.一种合并三维(3D)纹理网格的方法，所述方法包括：接收第一网格和第二网格；执行空间对齐以使所述第一网格相对于所述第二网格对齐；对所述第一网格和所述第二网格执行网格剪裁以移除冗余网格顶点；在剪裁缝周围执行几何细化以封闭由网格剪裁产生的网格连结孔；以及在与所述剪裁缝相邻的区域中执行纹理混合以获得合并的网格。8.根据权利要求7所述的方法，其中执行空间对齐包括：识别所述第一网格和所述第二网格重叠的重叠区域；识别包含所述重叠区域的所述重叠区域的边界框；对于所述边界框内所述第一网格的每个相应顶点，搜索所述第二网格中的对应最近顶点，从而建立多个匹配对，每个匹配对包括所述第一网格的所述相应顶点和所述第二网格的所述对应最近顶点；从所述多个匹配对中移除一个或多个错误匹配对；确定要应用于所述第一网格以使所述多个匹配对中的每个匹配对中所述第一网格的所述相应顶点与所述第二网格的所述对应最近顶点之间的距离最小化的刚性变换；以及使用所述刚性变换旋转和平移所述第一网格。9.根据权利要求8所述的方法，进一步包括多次迭代以下步骤，直到达到收敛：对于所述边界框内所述第一网格的每个相应顶点，搜索所述第二网...

【专利技术属性】
技术研发人员：闵见源，魏晓林，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US