基于深度学习的单帧图像三维模型表面重建方法技术

本发明专利技术提供了一种基于深度学习的单帧图像三维模型表面重建方法，包括步骤：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建。本发明专利技术能够简单高效地对单帧图像进行三维重建，重建的三维模型具有细节丰富、表面流畅和整体良好的特点。

Surface Reconstruction of Three-dimensional Model of Single-frame Image Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的单帧图像三维模型表面重建方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于深度学习的单帧图像三维模型表面重建方法。
技术介绍
三维重建是指将真实场景中的三维物体在计算机中建立数学模型的过程，是计算机视觉领域的一个热门研究方向。相比于二维图像，三维模型能够提供物体的整体信息，更加全面的展示物体特性，因而在计算机动画、人机交互、现代医学等多个领域都有着广泛的应用。随着深度学习的快速发展，单帧图像三维重建领域取得了新的突破。研究者利用卷积神经网络对单帧图像进行特征提取，经过特定的特征映射方法，重建特定的表达形式的三维模型。然而不同的表达形式之间存在一定差异，其精确度、鲁棒性和算法复杂度都影响着三维模型的生成效果。目前三维模型的表达形式主要有体素、点云和网格。体素表达形式跟图像的二维像素相似，只不过是从二维的像素点扩展到三维的立方体单元。但是在三维空间中，体素分辨率提升是以立方为单位增加的，这会导致算法复杂度迅速升高。由于目前的计算机的内存限制，高分辨率三维体素模型的重建十分困难。点云表达形式通过直接回归三维空间点坐标的方式来完成三维重建，方法简单，易于实现。但是，由于点与点没有局部连接，点云在表示连续的三维模型时效果不好，容易导致细节丢失，重建的三维模型常常缺乏表面流畅性。网格表达形式通过顶点与边的连接来来重建三维模型。该表达形式能有效避免点与点之间自由度过高的问题，能够形成稳定的，细节丰富的三维模型。但在现有方法中，顶点的接受域较窄，这意味着一个顶点不能有效地接受来自多个边的其他顶点的特征，容易导致顶点陷入局部最优，重建的三维模型整体不够鲁棒。NURBS曲面是传统三维建模领域的一种常用表达形式，具有良好的凸性和几何连续性，能生成大部分基本三维曲面。通过控制点坐标和权重的变化，该表达形式可以调整三维曲面的局部形状，进而较好的完成三维模型重建工作。但是传统的控制点权重和坐标的设置需要经过大量的初始化计算和手动微调，这使得复杂曲面三维模型的重建较为困难。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度学习的单帧图像三维模型表面重建方法，能够简单高效地对单帧图像进行三维重建，重建的三维模型具有细节丰富，表面流畅，整体良好的特点。为解决上述技术问题，本专利技术采用的技术方案是：一种基于深度学习的单帧图像三维模型表面重建方法，包括以下步骤：步骤一：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；步骤二：通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；步骤三：将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；步骤四：利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；步骤五：训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建。进一步的，在步骤一中，采用OpenGL对CAD模型进行采样与渲染，生成训练样本。进一步的，在步骤二中，对每个训练样本的图像都使用相同的VGG16模型进行高层语义提取，即通过下式对每个训练样本的输入图像进行特征提取：式中，N为正整数；表示第n个类别中第i个CAD训练样本中第j张图片所产生的高层语义；ExtractVGG16表示VGG16特征提取网络；表示第n个类别中第i个CAD训练样本中第j张图片。进一步的，在步骤二中，ExtractVGG16包括输入层、卷积层、池化层以及输出层，对卷积层输出结果进行非线性修正；卷积层之间或卷积层与输入层之间关系如下式：式中，Conv(i,j)表示第k卷积层中i行j列的数据，Wk-1,k(m,n)表示第k-1卷积层到第k卷积层的卷积核中第m行n列的数据，bk-1,k表示第k-1个隐含层向第k个隐含层的线性单元的链接偏置；I表示输入层的输入图片，Wi,k(m,n)表示输入层向第k个隐含层的线性单元的链接权重，bi,k表示输入层向第k个隐含层的线性单元的链接偏置；ReLU对每层卷积层输出结果进行非线性修正，其式为：池化层的输入与输出之间关系如下公式：Pool(i,j)＝maxm,nI(i+m,i+n)Pool为池化层输出结果，I为输入语义图，池化层取输入数据局部区域的最大值。进一步的，所述步骤四具体为：NURBS模型初始化：初始化控制点作为作用对象，每个控制点都有坐标(xi,yi,zi)和权重w；NURBS三维模型重建：利用得到的NURBS变化所需要的控制点坐标和权重参数对初始模型进行更新，得到目标三维模型；初始化与模型更新如下式所示：其中，C(μ,v)代表每个区间内形状函数；wi代表控制点的权重，Ci即(xi,yi,zi)代表控制点的坐标；Ni,d(μ)代表区间函数，μ,v代表曲面不同方向的区间节点，n代表区间总数，对应n+1区间节点，d代表区间函数的阶数。进一步的，所述步骤五具体为：在前向传播过程中，网络卷积核与特征图进行点积计算，逐步得到高层语义，全连接神经网络模块对高层语义进行回归得到重建阶段所需参数，完成NURBS的控制节点坐标与权值更新；在反向传播过程中，模板卷积核与全连接层更新参数；使用生成的三维模型与真实三维模型的倒角距离对神经网络进行训练，即通过下式对神经网络进行训练：式中，loss代表损失函数，LCD代表求取生成的三维模型与真实三维模型的倒角距离，P代表生成的三维模型，Q代表真实形状三维模型，||·||2表示二范数。与现有技术相比，本专利技术的有益效果是：1)基于深度学习神经网络，训练学习完成三维重建任务，提高了三维重建的效率，降低了操作难度；2)结合NURBS传统三维建模方法，通过对控制点坐标和权重的参数学习，能够极大地减少神经网络的回归复杂度，减小网络规模，提升网络运行速度；3)NURBS的数学约束使得重建的三维模型细节丰富，表面流畅，整体效果良好。附图说明图1是本专利技术实施例的工作流程图；图2是本专利技术实施例的训练样本生成示意图；图3是本专利技术实施例的图像特征提取网络的数据传输图；图4是本专利技术实施例的图像信息转化为NURBS曲面的控制坐标与权重的示意图；图5是本专利技术实施例的初始NURBS曲面模型渐变为目标三维模型的示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术通过深度学习神经网络求取NURBS曲面变化所需要的控制点坐标和权重参数值，一方面，深度学习神经网络可以利用其强大的特征提取能力与分析计算能力，自动回归NURBS曲面变化所需要的参数；另一方面，NURBS方法并不需要对三维模型的每一个点都进行回归计算，只需要求取控制点的权重和坐标，就可以实现三维重建，减少了网络参数，降低了计算复杂度。如图1所示，基于深度学习的单帧图像三维模型表面重建方法包括如下步骤：步骤一：生成训练样本使用OpenGL对CAD模型进行采样与渲染生成训练样本，用于三维模型重建的神经网络训练。当然，生成训练样本的方法不限于OpenGL，任何能够实现相同技术效果的方法都可以用于生成训练样本。具体如下：选择CAD数据集。2015年，普林斯顿大学、斯坦福大学和TTIC研究人员发布了合作项目ShapeNet数据集，旨在于建立一个有丰富注释的、大规模的3D图形数据集，为世界各地本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单帧图像三维模型表面重建方法，其特征在于，包括以下步骤：步骤一：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；步骤二：通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；步骤三：将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；步骤四：利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；步骤五：训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建。

【技术特征摘要】
1.一种基于深度学习的单帧图像三维模型表面重建方法，其特征在于，包括以下步骤：步骤一：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；步骤二：通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；步骤三：将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；步骤四：利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；步骤五：训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建。2.如权利要求1所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤一中，采用OpenGL对CAD模型进行采样与渲染，生成训练样本。3.如权利要求2所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤二中，对每个训练样本的图像都使用相同的VGG16模型进行高层语义提取，即通过下式对每个训练样本的输入图像进行特征提取：式中，N为正整数；表示第n个类别中第i个CAD训练样本中第j张图片所产生的高层语义；ExtractVGG16表示VGG16特征提取网络；表示第n个类别中第i个CAD训练样本中第j张图片。4.如权利要求3所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤二中，ExtractVGG16包括输入层、卷积层、池化层以及输出层，对卷积层输出结果进行非线性修正；卷积层之间或卷积层与输入层之间关系如下式：式中，Conv(i,j)表示第k卷积层中i行j列的数据，Wk-1,k(m,n)表示第k-1卷积层到第k卷积层的卷积核中第m行n列的数据，bk-1,k表示第k-1个隐含层向第k个隐含层的线性...

【专利技术属性】
技术研发人员：杨路，杨经纶，李佑华，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51