基于多视图的物体3D形状重建方法技术

提供了基于多视图的物体3D形状重建方法。所提供的基于多视图的物体三维形状重建模型，该模型基于Pixel2Mesh的基本结构，从增加Convlstm层、增加Graph unpooling层、设计Smooth损失函数三个方面提出了一种改进的三维重建模型，实验表明，这种改进模型具有比P2M更高的重建精度。采用上述模型，首先对shapenet数据集中的物体真实网格模型、渲染图像和相机参数进行预处理，构建训练数据，然后训练多视图三维重建模型，最后通过该模型重建出图像对应的物体形状。

【技术实现步骤摘要】
基于多视图的物体3D形状重建方法
本专利技术提出基于多视图的物体3D形状重建模型，属于图像数据处理(G06T)及三维重建(G06T17)领域。
技术介绍
三维重建的主要目标之一是从二维图像恢复物体三维结构。近年来，随着虚拟现实、3D打印、自动驾驶、智能医疗和影视制作等产业的发展，人们对三维模型的需求出现了爆发式的增长，传统的手工建模方法已难以满足这一需求，准确高效的三维重建方法成为解决这一问题的关键。在三维重建领域，传统的基于图像的重建算法一般利用特征匹配或模式适应等方式从图像或视频中恢复三维模型，然而由于图像二维特征的歧义性和稀疏性，这类方法往往存在较大的限制，无法适应各种场景下的重建任务，并且难以精确、鲁棒地重建出三维模型。近年来，随着深度学习技术的迅速发展，愈来愈多学者开始聚焦于研究数据驱动的三维重建算法，例如，Choy等人(https://arxiv.org/pdf/1604.00449.pdf)使用Encoder-3DLSTM-Decoder的方式构建了体素生成的网络模型；Fan等人(https://openacces本文档来自技高网...

【技术保护点】
1.一种基于多视图的物体3D形状重建方法，包括以下步骤：/n步骤一、数据准备/n获取ShapeNet数据集中的一个或多个3D网格模型，按设置阈值在其表面进行点采样，构建同获取的3D网格模型对应的3D点云数据，其中获取的3D网格模型还包括对应的样本图像；/n获取椭球网格模型作为形变模板，该椭球网格模型包括椭球体，该椭球体包含156个顶点，308个三角形面；该椭球体的参数包括放置于距相机正前方0.8m处，以此位置为圆心，该椭球体的三轴半径分别为0.2m、0.2m、0.4m；/n步骤二、对特征提取网络和模板形变网络进行联合训练/n将步骤一的3D点云数据、同3D点云数据对应的样本图像及所述相机的参数送...

【技术特征摘要】
1.一种基于多视图的物体3D形状重建方法，包括以下步骤：
步骤一、数据准备
获取ShapeNet数据集中的一个或多个3D网格模型，按设置阈值在其表面进行点采样，构建同获取的3D网格模型对应的3D点云数据，其中获取的3D网格模型还包括对应的样本图像；
获取椭球网格模型作为形变模板，该椭球网格模型包括椭球体，该椭球体包含156个顶点，308个三角形面；该椭球体的参数包括放置于距相机正前方0.8m处，以此位置为圆心，该椭球体的三轴半径分别为0.2m、0.2m、0.4m；
步骤二、对特征提取网络和模板形变网络进行联合训练
将步骤一的3D点云数据、同3D点云数据对应的样本图像及所述相机的参数送入3D形状重建网络中进行训练；其中3D点云数据用于计算损失函数；
所述3D形状重建网络包括：特征提取模块与模板形变模块；所述特征提取模块包括18个卷积层与convLSTM层；
所述步骤二中，将所述样本图像输入所述特征提取模块的18个卷积层，从第8、11、14与18卷积层提取特征输出；所述ConvLSTM层将从第8、11、14与18卷积层提取的特征输出融合为融合像素特征图Img；
所述模板形变模块包括：7个形变模块、5个graphunpooling模块、2个graphpooling模块以及7个投影模块；
所述步骤二中，第一投影模块根据所述形变模板、所述相机参数与所述特征提取模块输出的第一样本图像的融合像素特征图Img1得到156＊963维度的顶点特征P1，第一形变模块利用该顶点特征P1生成第一个具有156个顶点的3D形状M1；第二投影模块依据3D形状M1、所述相机参数与所述第一样本图像的融合像素特征图Img1再次进行投影得到新的156＊963维度的顶点特征P2，之后利用Graphunpooling模块在该顶点特征P2上增加顶点数量得到628＊963的顶点特征P3，第二形变模块利用该顶点特征P3生成第二个具有628个顶点的3D形状M2；第三投影模块依据3D形状M2、所述相机参数与所述第一样本图像的融合像素特征图Img1再次进行投影得到新的628＊963维度的顶点特征P4，之后利用Graphunpooling模块在该顶点特征P4上增加顶点数量得到2466＊963的顶点特征P5，第三形变模块利用该特征生成第三个具有2466个顶点的3D形状M3；第四投影模块依据3D形状M3、所述相机参数与所述特征提取模块输出的第二样本图像的融合像素特征图Img2再次进行投影得到新的2466＊963维度的顶点特征P6，之后利用Graphpooling模块在该顶点特征P6上缩减顶点数量得到628＊963的顶点特征P7，第四形变模块利用该顶点特征P7生成第四个具有628个顶点的3D形状M4；第五投影模块依据3D形状M4、所述相机参数与所述第二样本图像的融合像素特征图Img2再次进行投影得到新的628＊963维度的顶点特征P8，之后利用Graphunpooling模块在该顶点特征P8上增加顶点数量得到2466＊963的顶点特征P9，第五形变模块利用该顶点特征P9生成第五个具有2466个顶点的3D形状M5；第六投影模块依据3D形状M5、所述相机参数与所述特征提取模块输出的第三样本图像的融合像素特征图Img3再次进行投影得到新的2466＊963维度的顶点特征P10，之后利用Graphpooling模块在该顶点特征P10上缩减顶点数量得到628＊963的顶点特征P11，第六形变模块利用该顶点特征P11生成第六个具有628个顶点的3D形状M6；第七投影模块依据3D形状M6、所述相机参数与所述第三样本图像的融合像素特征图Img3再次进行投影得到新的628＊963维度的顶点特征P12，之后利用Graphunpooling模块在该顶点特征P12上增加顶点数量得到2466＊963的顶点特征P13，第七形变模块利用该顶点特征P13生成第七个具有2466个顶点的3D形状M7，并将3D形状M7作为最终结果输出；
所述步骤二还包括：将第一、二、三、四、五、六、七形变模块输出的3D形状，分别与步骤一获取的3D点云数据计算CD损失、Normal损失、Laplacian损失、edgelength损失，用于监督所述3D形状重建网络的训练；以及，将第三、五、七形变模块输出的3D形状还计算Smooth损失，用于约束其生成的2466个顶点3D形状的表面光滑度；
所述第七形变模块的输出作为所述3D形状重建网络输出的物体3D形状；
步骤三，用训练好的所述3D形状重建网络重建物体3D形状。


2.根据权利要求1所述的方法，其中
获取的3D网格模型对应的样本图像包括第一样本图像，第二样本图像与第三样本图像。


3.根据权利要求2所述的方法，其中
所述特征提取模块用于提取输入的各样本图像的特征并对提取的特征进行融合，获取投影模块所需的各融合像素特征图；
形变模块用于更新顶点特征和预测3D形状的顶点坐标位置<x，y，z>，以生成中间3D形状或最终的3D形状；
Graphunpooling模块用于结构性增加顶点数量，以丰富最终预测形状的表面细节；
GraphPooling模块用于结构性删减顶点数量，以在保持预测形状整体效果的前提下去除预测过程产生的噪声；
投影模块用于将3D形状的三维点投影为融合像素特征图中对应...

【专利技术属性】
技术研发人员：童超，陈荣山，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11