利用多张彩色图片生成三维网格模型的方法及装置制造方法及图纸

本发明专利技术提供一种利用多张彩色图片生成三维网格模型的方法，用于基于形变推断对少量不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型，其特征在于，包括如下步骤：步骤S1，对预先获取的三维模型数据集进行预处理从而得到训练样本；步骤S2，生成初始网格模板；步骤S3，构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络；步骤S4，构建图卷积神经网络；步骤S5，构建损失函数；步骤S6，基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练；步骤S7，将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。网格模型。网格模型。

【技术实现步骤摘要】
利用多张彩色图片生成三维网格模型的方法及装置


[0001]本专利技术属于三维计算机视觉领域，具体涉及一种基于形变推断的从多张图片生成三维网格模型的方法及装置。

技术介绍

[0002]三维形状生成是连接图像与真实空间的重点问题，得益于深度神经网络的建模能力，仅从极少量几张图片生成三维模型已成为可能。但是仅从单张图片生成三维模型往往倾向于学习到粗略形状，对遮挡区域与跨语义类别形状生成效果不佳。此外，虽然现有的传统方法能利用跨视角信息推断三维形状，但需要大量有重叠部分的图片，无法处理少量有限数量图片作为输入的情况。
[0003]近年来，相关研究工作尝试解决此类问题，但由于三维模型的表示方式有多样性，处理多张图片特征的对应关系并非易事，造成现有的方法生成三维模型的效果较差。例如：
[0004]文[1]使用体素作为三维模型表示方式，进而使用长短期记忆网络(LSTM)序列的读入单张或多张图片来生成三维模型。但是一方面体素表示方式计算复杂且速度慢；另一方面有次序的序列性读入图片最终生成的模型将受到图片顺序的影响。
[0005]文[2]依然使用体素作为表示方式，但使用视线射线将多张图片的特征投影与反投影进行融合，利用几何约束推断形状先验，但递归融合网格特征所使用的量化操作也使得生成效果缺乏足够的精细度。
[0006]文[3]使用三角网格(Mesh)表示三维模型，提升了速度降低了模型计算消耗，但仅使用单张图片进行输入，缺乏对本遮挡区域的正确形状建模。
[0007][1]Choy C B,Xu D,Gwak J Y,et al.3d-r2n2:A unified approach for single and multi-view 3d object reconstruction[C]//European conference on computer vision.Springer,Cham,2016:628-644.
[0008][2]Kar A,C,Malik J.Learning a multi-view stereo machine[C]//Advances in neural information processing systems.2017:365-376.
[0009][3]Wang N,Zhang Y,Li Z,et al.Pixel2mesh:Generating 3d mesh models from single rgb images[C]//Proceedings of the European Conference on Computer Vision(ECCV).2018:52-67.

技术实现思路

[0010]为解决上述问题，提供一种通过少量不同观察角度图片就能够生成光滑连续、对齐准确、精细化程度高的三维网格模型的方法，本专利技术采用了如下技术方案：
[0011]本专利技术提供了一种利用多张彩色图片生成三维网格模型的方法，用于基于形变推断对多张不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型，其特征在于，包括如下步骤：步骤S1，对预先获取的三维模型数据集进行预处理从而得到训练样本，所述训练样本包含三维数据、对应的二维图片以及相机参数；步骤S2，生成初
始网格模板；步骤S3，构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络；步骤S4，构建图卷积神经网络，该图卷积神经模型包括粗略形状生成网络以及多视角形变网络，所述粗略形状生成网络用于根据所述初始网格模板以及所述语义特征并通过形变生成粗略网格模型，所述多视角形变网络用于根据所述几何特征对所述粗略网格模型的网格顶点的潜在移动位置进行采样，并利用图像感知特征的特征一致性进行加权评分从而将所述粗略网格模型形变生成精细化网格模型，所述多视角形变网络包括假设点采样层、跨视角感知特征投影层以及形变推断模块；步骤S5，构建损失函数；步骤S6，基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练；步骤S7，将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。
[0012]本专利技术提供的利用多张彩色图片生成三维网格模型的方法，还可以具有这样的技术特征，其中，所述三维数据为多个CAD模型，所述预处理包括：对所述CAD模型进行采样得到三维点云坐标；将所述三维点云坐标所在CAD模型的面的法向量设置为点云法向量；根据随机设置的相机外部参数与相同的相机内部参数渲染所述CAD模型，从而得到每个所述CAD模型对应的所述二维图像以及所述相机参数。
[0013]本专利技术提供的利用多张彩色图片生成三维网格模型的方法，还可以具有这样的技术特征，其中，多视角形变网络生成所述精细化网格模型的过程包括：将所述粗略网格模型作为所述多视角形变网络的输入网格模型；利用所述假设点采样层，对所述网格顶点的潜在移动位置进行采样并作为假设点；利用所述跨视角感知特征投影层，根据所述相机参数对所述输入网格模型的三维网格进行坐标变换，并计算所述三维网格中每一个顶点在不同视角图片的特征图中的统计量；利用所述形变推断模块，基于预设的打分推断机制以及所述统计量对所述输入网格模型的每一顶点对应的各个所述假设点的特征一致性进行加权评分，选择最可信点作为精细化调整后的网格模型的顶点位置；级联2次所述形变推断模块得到最终的所述精细化网格模型。
[0014]本专利技术提供的利用多张彩色图片生成三维网格模型的方法，还可以具有这样的技术特征，其中，所述打分推断机制为：使用软最大值层计算各个所述假设点的加权权重，并将所述加权权重与所述假设点的坐标相乘，以所有所述假设点的加权位置作为输出的所述最可信点。
[0015]本专利技术提供的利用多张彩色图片生成三维网格模型的方法，还可以具有这样的技术特征，其中，所述初始网格模板为椭球网格，所述椭球网格使用的椭球参数方程为：x2+2*y2+2*(z+0.8)
2-0.08＝0，式中，x、y、z为以椭球中心为原点的右手直角坐标系中空间任意一点的三维坐标，x轴为椭球最长轴平行方向，y轴为垂直向上方向，z轴为椭球最短轴平行方向。
[0016]本专利技术提供的利用多张彩色图片生成三维网格模型的方法，还可以具有这样的技术特征，其中，所述图像特征提取网络为由卷积层与最大池化层及线性整流单元组成的18层全卷积神经网络，所述图像特征提取网络的五个池化层前的特征图被提取为图像特征，其中第1、2、3个特征图作为所述几何特征，第3、4、5个特征图作为所述语义特征。
[0017]本专利技术提供的利用多张彩色图片生成三维网格模型的方法，还可以具有这样的技术特征，其中，所述粗略形状生成网络由从节点数不断增加的三个级联的图卷积神经网络
模块组成，网络输出特征为3维，隐含层维度为192，并使用残差连接方式，每一个所述图卷积神经网络模块逐级更新所述初始网格模板的顶点位置，最终生成所述粗略网格模型。
[0018]本专利技术提供的利用多张彩色本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用多张彩色图片生成三维网格模型的方法，用于基于形变推断对多张不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型，其特征在于，包括如下步骤：步骤S1，对预先获取的三维模型数据集进行预处理从而得到训练样本，所述训练样本包含三维数据、对应的二维图片以及相机参数；步骤S2，生成初始网格模板；步骤S3，构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络；步骤S4，构建图卷积神经网络，该图卷积神经模型包括粗略形状生成网络以及多视角形变网络，所述粗略形状生成网络用于根据所述初始网格模板以及所述语义特征并通过形变生成粗略网格模型，所述多视角形变网络用于根据所述几何特征对所述粗略网格模型的网格顶点的潜在移动位置进行采样，并利用图像感知特征的特征一致性进行加权评分从而将所述粗略网格模型形变生成精细化网格模型，所述多视角形变网络包括假设点采样层、跨视角感知特征投影层以及形变推断模块；步骤S5，构建损失函数；步骤S6，基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练；步骤S7，将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。2.根据权利要求1所述的利用多张彩色图片生成三维网格模型的方法，其特征在于：其中，所述三维数据为多个CAD模型，所述预处理包括：对所述CAD模型进行采样得到三维点云坐标；将所述三维点云坐标所在CAD模型的面的法向量设置为点云法向量；根据随机设置的相机外部参数与相同的相机内部参数渲染所述CAD模型，从而得到每个所述CAD模型对应的所述二维图像以及所述相机参数。3.根据权利要求1所述的利用多张彩色图片生成三维网格模型的方法，其特征在于：其中，多视角形变网络生成所述精细化网格模型的过程包括：将所述粗略网格模型作为所述多视角形变网络的输入网格模型；利用所述假设点采样层，对所述网格顶点的潜在移动位置进行采样并作为假设点；利用所述跨视角感知特征投影层，根据所述相机参数对所述输入网格模型的三维网格进行坐标变换，并计算所述三维网格中每一个顶点在不同视角图片的特征图中的统计量；利用所述形变推断模块，基于预设的打分推断机制以及所述统计量对所述输入网格模型的每一顶点对应的各个所述假设点的特征一致性进行加权评分，选择最可信点作为精细化调整后的网格模型的顶点位置；级联2次所述形变推断模块得到最终的所述精细化网格模型。4.根据权利要求3所述的利用多张彩色图片生成三维网格模型的方法，其特征在于：其中，所述打分推断机制为：
使用软最大值层计算各个所述假设点的加权权重，并将所述加权权重与所述假设点的坐标相乘，以所有所述假设点的加权位置作为输出的所述最可信点。5.根据权利要求1所述的利用多张彩色图片生成三维网格模型的方法，其特征在于：其中，所述...

【专利技术属性】
技术研发人员：付彦伟，闻超，张寅达，李著文，
申请(专利权)人：复旦大学，
类型：发明
国别省市：