一种基于结构的计算机三维网格模型重建方法技术

本发明专利技术涉及一种基于结构的计算机三维网格模型重建方法，属于计算机图形学及视觉技术领域。首先，将网格模型的各个部件分别编码。然后，将部件编码序列，利用序列到序列的结构进行编码和解码，重建部件编码序列，再将重建的部件编码序列利用网格变形的方法进行解码重建出各个网格部件，从而得到整个网格模型。之后，让神经网络学习从图像到上述过程中学到的编码潜在空间的映射，从而实现从图像到结构化网格模型的重建。与现有的网格模型重建方法相比，本方法能够重建模型的结构信息，保留有关结构的细节，与一些其他的结构化模型重建方法相比，又能够得到整体形状更优的网格模型。又能够得到整体形状更优的网格模型。又能够得到整体形状更优的网格模型。

【技术实现步骤摘要】
一种基于结构的计算机三维网格模型重建方法


[0001]本专利技术涉及一种计算机三维网格模型的重建方法，尤其涉及一种能够重建结构化网格模型的方法，属于计算机图形学及视觉


技术介绍

[0002]在计算机图形学领域中，三维网格模型是三维模型的一种表示形式。与体素和点云等其它表示形式的三维模型相比，网格模型具有更好的几何细节和视觉效果。目前，三维网格模型已经被应用到虚拟现实、工业制造等多个领域。
[0003]三维网格模型，是一种使用一系列的点和面来表示三维模型的形式。使用传统方法进行三维建模获得网格模型，往往需要大量的人力来逐点构建模型的诸多细节。
[0004]近年来，随着深度学习技术的发展，利用深度神经网络来重建包括三维网格模型在内的各种三维模型，能够实现快速的三维建模。例如，Groueix等人提出的AtlasNet，是使用深度神经网络重建网格模型的代表性工作，该工作通过利用对已有的网格模板的顶点进行位移来实现网格变形，从而实现网格模型的重建。一些其他工作也采用了类似的方法。
[0005]但是，现有的使用深度神经网络进行三维网格模型重建的工作，都是让神经网络学习并重建整体化的模型，这样的模型缺少部件结构的细节，没有对模型中各个部件的划分。如何重建带有部件划分的结构化网格模型，是一个有待研究的技术问题。
[0006]对于重建非网格的结构化模型，Niu等人提出了Im2Struct及其前置的GRASS等工作，使用一个树形结构来储存模型的部件结构及其相邻和对称等信息。但是，该过程使用长方体来表示模型的部件，不关注模型的具体形状，所使用的数据集也较小。此外，Wu等人提出了PQ
‑
Net，使用序列到序列的线性结构来储存并重建体素化模型，但是体素模型的表达效果不佳。

技术实现思路

[0007]本专利技术的目的是针对目前三维网络模型重建工作缺少结构化网格模型重建的技术问题，提出了一种重建结构化网格模型的方法。
[0008]首先，将网格模型的各个部件分别编码。
[0009]然后，将部件编码序列，利用序列到序列的结构进行编码和解码，重建部件编码序列，再将重建的部件编码序列利用网格变形的方法进行解码重建出各个网格部件，从而得到整个网格模型。
[0010]之后，让神经网络学习从图像到上述过程中学到的编码潜在空间的映射，从而实现从图像到结构化网格模型的重建。
[0011]有益效果
[0012]与现有的网格模型重建方法相比，本方法能够重建模型的结构信息，保留有关结构的细节，与一些其他的结构化模型重建方法相比，又能够得到整体形状更优的网格模型。
[0013]1.本专利技术方法，使用部件网格的表面采样点来进行编码，然后通过使用模板网格
变形的方法来解码，从而实现对部件网格的重建。
[0014]2.本专利技术方法，使用了一个序列到序列的编码器
‑
解码器结构，可以实现从网格模型部件序列到部件序列的重建。
[0015]3.本专利技术方法，通过训练一个ResNet
‑
18编码器，可以实现图像到结构化模型所对应的特征向量的编码。
[0016]4.本专利技术方法，通过将图像编码成结构化模型对应的特征向量，然后解码成部件序列，最后将序列中的每一个部件解码成对应的部件网格，从而实现从图像到结构化网格模型的重建。
附图说明
[0017]图1是本专利技术中的部件形状自编码器的结构图；
[0018]图2是本专利技术中实现从模型到模型的重建的整体网络的结构图；
[0019]图3是本专利技术中实现从图像到模型的重建的整体网络的结构图；
[0020]图4是本专利技术公开的三维网格模型重建方法的流程图；
[0021]图5是本专利技术和对比方法在从模型到模型的重建工作的重建结果，其中(a)列是对比方法的重建结果，(b)列是本专利技术的方法的重建结果，(c)列是真实模型；
[0022]图6是本专利技术和对比方法在从图像到模型的重建工作的重建结果，其中(a)列是输入图像，(b)列是对比方法的重建结果，(c)列是本专利技术的方法的重建结果，(d)列是真实模型。
具体实施方式
[0023]下面结合附图对专利技术的具体实施内容做进一步详细说明。
[0024]图2和图3分别展示了从模型到模型的重建和从图像到模型的重建所使用的网络结构。
[0025]如图4所示，一种基于结构的计算机三维网格模型重建方法，包括以下步骤：
[0026]步骤1：构建部件形状自编码器网络并进行训练。
[0027]其中，部件形状自编码器网络如图1所示，包括编码器和解码器两部分。
[0028]对于每一个网格部件g
i
，为了方便编码，在其表面采样2500个点，得到表面采样点p(g
i
)。将表面采样点会输入到编码器E当中(编码器E可以使用Qi等人的PointNet工作当中的点云编码器)，编码器E将表面采样点p(g
i
)编码成一个1024维的形状特征向量x
i
，即：
[0029]x
i
＝E(p(g
i
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0030]解码器D是一个四层的大小分别为1024、512、256、128的多层感知机，其中，前三层使用激活函数ReLU，第四层(最终输出层)使用tanh。将形状特征向量x
i
和初始模板网格M0的顶点V0输入到解码器D中进行解码，解码过程是：通过移动顶点坐标对网格进行变形，该过程中，M0的面F0保持不变。解码后，得到当前部件所对应的网格模型的顶点V
i
，V
i
与F0共同组成当前部件的网格模型M
i
，即：
[0031]M0＝{F0,V0}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0032]V
i
＝D(x
i
,V0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0033]M
i
＝{F0,V
i
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0034]上述网络使用倒角距离(Chamfer Distance，CD)损失进行训练，损失函数L
cd
如下：
[0035][0036]其中，M是重建的部件网格，N是真实部件网格，x∈M和y∈N，x、y分别是重建的部件网格和真实的部件网格采样的点集。该损失对这两个点集中的每一个点，分别寻找另一个点集中的最近点，并计算点间距离。利用该损失对部件形状自编码器网络训练(如训练120代)，得到一个训练好的部件形状自编码器。
[0037]步骤2：训练部件序列自编码器。
[0038]部件序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构的计算机三维网格模型重建方法，其特征在于，包括以下步骤：步骤1：构建部件形状自编码器网络并进行训练；其中，部件形状自编码器网络包括编码器和解码器两部分；对于每一个网格部件g
i
，在其表面进行采样，得到表面采样点p(g
i
)；将表面采样点会输入到编码器E当中，编码器E将表面采样点p(g
i
)编码成一个1024维的形状特征向量x
i
，即：x
i
＝E(p(g
i
))
ꢀꢀꢀꢀꢀꢀ
(1)解码器D是一个四层的大小分别为1024、512、256、128的多层感知机，其中，前三层使用激活函数ReLU，第四层使用tanh；将形状特征向量x
i
和初始模板网格M0的顶点V0输入到解码器D中进行解码，解码过程是：通过移动顶点坐标对网格进行变形，该过程中，M0的面F0保持不变；解码后，得到当前部件所对应的网格模型的顶点V
i
，V
i
与F0共同组成当前部件的网格模型M
i
，即：M0＝{F0，V0}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)V
i
＝D(x
i
，V0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)M
i
＝{F0,V
i
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)上述网络使用倒角距离损失进行训练，损失函数L
cd
如下：其中，M是重建的部件网格，N是真实部件网格，x∈M和y∈N，x、y分别是重建的部件网格和真实的部件网格采样的点集；该损失对这两个点集中的每一个点，分别寻找另一个点集中的最近点，并计算点间距离；利用该损失对部件形状自编码器网络进行训练，得到一个训练好的部件形状自编码器；步骤2：训练部件序列自编码器；部件序列自编码器实现对一个向量序列的编码和解码，它是一个基于序列到序列结构的编码器
‑
解码器结构，这个结构中的编码器和解码器都使用循环神经网络来实现；其中，编码器部分是一个双向堆叠循环神经网络Er，分别由两个循环神经网络Er1和Er2组成，每个循环神经网络均使用门控循环单元作为基础单元；步骤1中的部件形状自编码器的编码器对各个部件进行编码得到的向量序列X＝[x1,x2，
…
,x
n
]首先补充每个部件的六维边界框信息b
i
和标识部件总数的one
‑
hot向量，得到最终的向量序列S＝[s1，s2，
…
，s
n
]；该序列及其反向序列S
’
＝[s
n
,s
n
‑1,
…
，s1]分别被输送给Er1和Er2，然后分别编码得到h1和h2，h1、h2共同构成了该模型的特征向量h；Er的整个过程如式6所示：h＝[h1，h2]＝Er(S，S
′
)＝[Er1(S),Er2(S
′
)]
ꢀꢀꢀ
(6)解码器部分是一个能够在每个时间步之内输出多个向量的堆叠循环神经网...

【专利技术属性】
技术研发人员：余月，李营，张靖宇，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：