【技术实现步骤摘要】
本专利技术属于计算机视觉三维重建领域，具体涉及一种融合结构感知和几何特征的单视图三维重建方法。
技术介绍
1、单视图三维重建是指利用单张二维图像重建三维物体的过程，单视图三维重建一直以来是计算机视觉领域里的一个热点。由于三维形状数据的复杂性和不规则性，如何有效地表示三维形状仍然是一个具有挑战性的问题。另外，三维重建需要从二维图像中理解物体的形状和外观，这对计算机来说也是一项艰巨的任务。近年来，深度学习已经成为解决各种计算机视觉任务的强大工具，深度学习也已经被证明对于从二维图像进行三维重建是有效的。在早期的三维形状表示研究中，三维物体通常采用全局方法建模，例如构造实体几何和变形超二次曲面。但是，在处理局部细节时，由于全局特征的缺失，重建结果可能存在细节不够准确或缺失的情况。为了弥补全局方法的不足，研究人员开始将局部特征重建方法融合进重建中去，基于局部特征的方法可以更好地描述物体表面的细节和形状。
2、但是，基于全局和局部信息融合的三维重建方法如disn难以感知的模型的结构信息，重建过程中没有考虑连接和对称，包括旋转、平移、镜面对称等结构关系，不能很好的处理遮挡部分和薄细部件重建结果的不连续。
技术实现思路
1、针对上述研究的问题，本专利技术提出了一种融合结构感知和几何特征的单视图三维重建方法，在结构特征、全局几何特征和局部几何特征的共同约束下，模型训练收敛速度更快，重建精度有明显提升。
2、本专利技术采用的技术解决方案是：一种融合结构感知和几何特征的单视图三维
3、步骤1.1利用shapenet core数据集的三维模型及其二维渲染图像训练融合结构感知和几何特征的单视图三维重建网络；具体先单独训练结构特征提取网络。然后冻结结构特征提取网络参数利用数据集训练符号距离函数表示sdf预测网络；
4、步骤2.1将待重建单视图输入网络，提取结构特征并将结构特征编码为结构特征向量；提取全局几何特征，根据空间采样点信息和相机参数从全局几何特征中抽取出局部特征；具体的结构特征获取先采用resnet50网络对输入单视图进行结构特征提取，再将结构特征经过编码器编码为代表结构特征的隐式向量，利用结构重建递归神经网络递归地利用节点分类器对节点进行分类，然后根据类别使用不同的节点解码器对节点进行解码，直到不能再进行解码为止，即到达树状结构的叶节点处，叶节点为每一个部件的有向包围盒的参数。同样通过resnet-50网络进行全局几何特征向量编码，对于空间采样点p，根据相机参数将其投影到单视图图像点q，索引q在全局几何特征子图中找到对应的位置，维度分别为256、512、1024、2048，而后进行连接得到局部特征向量；
5、步骤2.2全局几何特征向量以及结构特征向量以及空间采样点信息融合后解码得到待重建三维模型的粗表示；具体采用多层感知器将给定的空间采样点p映射到更高维的特征空间，然后将该高维特征分别与全局特征、结构特征的隐式向量进行融合，再解码得到空间采样点的符号距离函数表示sdf值，作为待重建单视图的三维模型的粗表示；
6、步骤2.3将局部特征和空间采样点信息融合后得到待重建单视图的三维模型的精表示；
7、步骤2.4将待重建的单视图的三维模型的粗表示和精表示进行融合得到三维模型的符号距离函数表示sdf，为了生成隐式平面,首先定义一个分辨率为256×256×256稠密3d网格将采样点点云放入其中并为网格中的每个点预测sdf值。得到了稠密网格中每个点的sdf值之后使用移动立方体(marching cubes)在sdf值为0的等值面上生成对应的平面。
8、本专利技术与现有技术相比有如下优点：
9、(1)本专利技术提出的一种融合结构感知和几何特征的单视图三维重建方法,生成后的模型相较于之前单视图三维重建方法有更为精确的重建面。
10、(2)在全局特征，结构特征和局部特征的约束下，sdf更准确，减少离群点，更好的还原细节。
11、(3)本专利技术重建过程中感知模型的结构信息，考虑连接和对称，包括旋转、平移、镜面对称等结构关系，更好的处理遮挡部分和薄细部件重建结果的不连续。
12、本专利技术所具有的上述优点，为基于单视图的三维重建提供了一种新型的技术方法，具有显著的实用价值。
本文档来自技高网...【技术保护点】
1.一种融合结构感知和几何特征的单视图三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述方法，其特征在于：步骤1.1单视图三维重建网络的训练分为结构特征提取网络的训练和符号距离函数表示SDF预测网络训练，首先单独训练结构特征提取网络，然后冻结结构特征提取网络参数利用数据集训练符号距离函数表示SDF预测网络。
3.根据权利要求1所述方法，其特征在于：步骤2.1中的结构特征获取方式如下，首先采用ResNet50网络对待重建单视图进行结构特征提取，再将提取到的结构特征经过编码器编码为代表结构特征的隐式向量即结构特征向量；步骤2.1中的局部几何特征向量提取方式如下：通过ResNet50网络进行全局特征编码，对于空间采样点p，根据相机参数将其投影到待重建单视图的像素点q，索引像素点q在特征提取网络不同大小特征层中对应的位置，而后将这些对应位置的值进行连接得到局部特征向量。
4.根据权利要求1所述方法，其特征在于：步骤2.2中采用多层感知器将给定的空间采样点p映射到更高维的特征空间得到高维特征，然后将该高维特征分别与全局特征、结构特征进行融合
5.根据权利要求1所述方法，其特征在于：步骤1.1训练结构特征提取网络的损失函数Loss如下：
6.根据权利要求1所述方法，其特征在于：步骤1.1训练符号距离函数表示SDF预测网络的损失LSDF定义如下：
...【技术特征摘要】
1.一种融合结构感知和几何特征的单视图三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述方法，其特征在于：步骤1.1单视图三维重建网络的训练分为结构特征提取网络的训练和符号距离函数表示sdf预测网络训练，首先单独训练结构特征提取网络，然后冻结结构特征提取网络参数利用数据集训练符号距离函数表示sdf预测网络。
3.根据权利要求1所述方法，其特征在于：步骤2.1中的结构特征获取方式如下，首先采用resnet50网络对待重建单视图进行结构特征提取，再将提取到的结构特征经过编码器编码为代表结构特征的隐式向量即结构特征向量；步骤2.1中的局部几何特征向量提取方式如下：通过resnet50网络进行全局特征编码，对于空间采样...
【专利技术属性】
技术研发人员：高国庆，鲍华，饶长辉，张全，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。