【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体说是一种基于2d图像的3d模型快速重建方法。
技术介绍
1、从单一视角推断3d形状是一项新兴机器人视觉感知技术，它的出现推动和加强了许多高级视觉任务的进展，例如形状检索、姿势估计和目标检测等。最近，使用深度学习技术从单个彩色图像生成3d模型取得了巨大成功，这要归功于其集成形状先验的卓越学习能力。
2、单图像三维重建具有广泛的应用前景：在机械制造领域，cad设计人员/采购人员可以对现实生活中的cad模型进行拍照，然后重建出相应的三维cad模型，便于复用/采购；在受限环境(如未知洞穴)场景下，视野小，路况未知，移动机器人需要尽可能少的移动，避免产生捧碰撞，采用基于2d图像的3d模型快速重建技术可以快速重建出3d空间中的物体，辅助三维感知与导航；在博物馆和艺术领域，通过对2d艺术画进行拍照，可以生成其三维模型以便数字化ar/vr展示，提供更加逼真的体验。
3、基于深度学习的单图像重建方法与传统的多图像三维重建方法相比，具有以下优势：首先不需要多张图像作为输入，也不需要相机参数；重建速度更快；只需要一个能拍照的设备即可，不需要额外大型设备，廉价且易携带；可以预测“未看见”的背面区域以及空洞，重建出更多细节；不涉及场景中物体移动的问题，鲁棒性更强；可学习性更强，基于深度学习方法训练数据越多，重建的越精确。
4、利用常规网格或多层感知上的卷积层的优势，估计的3d形状作为神经网络的输出，通常表示为体素或点云(cn202210025006.9)。然而，这两种形状表示都有很大的
5、得益于深度学习的发展，一些方法研究基于学习的3d重建的新型隐式表示，进而重建出三维mesh，并取得了一定的进展。然而这些方法采样需要相对较长的推理时间。并且，这类方法采用简单的轮廓监督，因此对于汽车、灯等复杂物体表现不佳，并且需要gpu进行大规模推理优化，重建速度慢。上述背景表明，基于2d图像的3d模型快速重建具有重要研究意义。
技术实现思路
1、本专利技术目的是提供一种基于2d图像的3d模型快速重建方法，该方法采用多级细化的策略，首先初始化一个具有较少mesh顶点的模板，刚开始只学习三维形状中具有代表性的位置，然后逐步增加顶点，逐步学习到更细粒度的三维细节。本专利技术可以克服2d图像多变性、重建精度低、速度慢等问题，实现鲁棒性强、重建精度高、速度快的3d模型重建。
2、本专利技术至少通过如下技术方案之一实现。
3、一种基于2d图像的3d模型快速重建方法，包括以下步骤：
4、1)基于图像特征提取网络提取2d图像特征；
5、2)初始化椭球体3d网格模型，用于变形到目标3d模型；
6、3)基于图卷积神经网络提取3d模型特征；
7、4)将2d图像特征和3d模型特征输入顶点变形网络，输出3d模型的最新顶点坐标，并将原始坐标更新到最新坐标；
8、5)基于顶点上采样策略增加顶点数，并迭代优化步骤3)与步骤4)至输出新的3d模型。
9、进一步地，2d图像的文件类型为.jpg、.jpeg、.png中的任意一种；3d模型的文件类型为：.stl、.obj、.ply、.lwo、.3ds、.dae、.fbx、.off中的任意一种。
10、进一步地，所述提取2d图像特征具体为：基于图像特征提取网络vgg-16提取2d图像特征。
11、进一步地，所述初始化椭球体3d网格模型具体为：初始一个包含若干个顶点的椭球体，椭球以a、b、c为三轴半径，以相机前方为中心，初始化输入图。
12、进一步地，所述基于图卷积神经网络提取3d模型特征具体为：针对由边和顶点构成的mesh模型，以模型的顶点作为图的顶点，以连接两个顶点的边作为图的边，基于gcn在每个顶点的近邻区域内提取特征，3d模型的特征编码信息保存在每个顶点上。
13、进一步地，所述顶点变形网络包括图解池化层、快捷连接增强的深度gcn；所述由基于图网络的反池化层构成，以部分顶点开始并在前向传播期间增加顶点数量，随着顶点数量的增加添加局部细节。
14、进一步地，步骤4)具体为：顶点变形网络结合图像特征提取网络和给定当前3d网格模型中顶点位置的感知特征池化层对输入图像的特征池化，将合并的感知特征与来自输入图的顶点上的3d形状特征连接起来，并馈送到通过快捷连接增强的深度gcn中为每个顶点生成新坐标和3d形状特征。
15、进一步地，所述将原始坐标更新到最新坐标具体为：由输出3d模型的最新顶点坐标，对3d模型的每个3d顶点坐标更新，进而得到新的mesh模型。
16、进一步地，所述基于顶点上采样策略增加顶点数具体为：为3d网格模型的每条边的中心添加一个顶点，得到三个新的顶点，将三个新的顶点两两相连，将三角面片变为四个三角面片。
17、进一步地，所述迭代优化过程具体为：以3d模型的部分顶点开始迭代优化步骤3)与步骤4)，逐步添加更多的顶点，学习3d模型的细节信息，直至输出高精度的3d模型。
18、与现有的技术相比，本专利技术具有以下有益效果及优点：
19、1.本专利技术方法提出了一种基于2d图像的3d模型快速重建方法，准确率高、鲁棒性强、速度快。可以应用于机械制造等领域：cad设计人员/采购人员可以对现实生活中的cad模型进行拍照，然后重建出相应的三维cad模型，便于复用/采购。
20、2.本专利技术方法针对包含多个类别、多个物体的2d图像，可实现鲁棒和快速高效的重建，满足3d模型多样性重建需求。
21、3.本专利技术方法提出的顶点变形网络以及由粗到细的迭代优化方法运算复杂度低，速度快，准确率高。
本文档来自技高网...【技术保护点】
1.一种基于2D图像的3D模型快速重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，2D图像的文件类型为.JPG、.JPEG、.PNG中的任意一种；3D模型的文件类型为：.STL、.OBJ、.PLY、.LWO、.3DS、.DAE、.FBX、.OFF中的任意一种。
3.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述提取2D图像特征具体为：基于图像特征提取网络VGG-16提取2D图像特征。
4.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述初始化椭球体3D网格模型具体为：初始一个包含若干个顶点的椭球体，椭球以a、b、c为三轴半径，以相机前方为中心，初始化输入图。
5.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述基于图卷积神经网络提取3D模型特征具体为：针对由边和顶点构成的mesh模型，以模型的顶点作为图的顶点，以连接两个顶点的边作为图的边，基于GCN在每个顶点的近邻区域内提取特征，3
6.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述顶点变形网络包括图解池化层、快捷连接增强的深度GCN；所述由基于图网络的反池化层构成，以部分顶点开始并在前向传播期间增加顶点数量，随着顶点数量的增加添加局部细节。
7.根据权利要求6所述的一种基于2D图像的3D模型快速重建方法，其特征在于，步骤4)具体为：顶点变形网络结合图像特征提取网络和给定当前3D网格模型中顶点位置的感知特征池化层对输入图像的特征池化，将合并的感知特征与来自输入图的顶点上的3D形状特征连接起来，并馈送到通过快捷连接增强的深度GCN中为每个顶点生成新坐标和3D形状特征。
8.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述将原始坐标更新到最新坐标具体为：由输出3D模型的最新顶点坐标，对3D模型的每个3D顶点坐标更新，进而得到新的mesh模型。
9.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述基于顶点上采样策略增加顶点数具体为：为3D网格模型的每条边的中心添加一个顶点，得到三个新的顶点，将三个新的顶点两两相连，将三角面片变为四个三角面片。
10.根据权利要求1所述的一种基于2D图像的3D模型快速重建方法，其特征在于，所述迭代优化过程具体为：以3D模型的部分顶点开始迭代优化步骤3)与步骤4)，逐步添加更多的顶点，学习3D模型的细节信息，直至输出高精度的3D模型。
...【技术特征摘要】
1.一种基于2d图像的3d模型快速重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于2d图像的3d模型快速重建方法，其特征在于，2d图像的文件类型为.jpg、.jpeg、.png中的任意一种；3d模型的文件类型为：.stl、.obj、.ply、.lwo、.3ds、.dae、.fbx、.off中的任意一种。
3.根据权利要求1所述的一种基于2d图像的3d模型快速重建方法，其特征在于，所述提取2d图像特征具体为：基于图像特征提取网络vgg-16提取2d图像特征。
4.根据权利要求1所述的一种基于2d图像的3d模型快速重建方法，其特征在于，所述初始化椭球体3d网格模型具体为：初始一个包含若干个顶点的椭球体，椭球以a、b、c为三轴半径，以相机前方为中心，初始化输入图。
5.根据权利要求1所述的一种基于2d图像的3d模型快速重建方法，其特征在于，所述基于图卷积神经网络提取3d模型特征具体为：针对由边和顶点构成的mesh模型，以模型的顶点作为图的顶点，以连接两个顶点的边作为图的边，基于gcn在每个顶点的近邻区域内提取特征，3d模型的特征编码信息保存在每个顶点上。
6.根据权利要求1所述的一种基于2d图像的3d模型快速重建方法，其特征在于，所述顶点变形网络包括图解池化层、快捷连接增...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。