基于GCF-MVSNet网络的多视图三维重建方法技术

本发明专利技术提出一种基于GCF

【技术实现步骤摘要】
基于GCF
‑
MVSNet网络的多视图三维重建方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于GCF
‑
MVSNet网络的多视图三维重建方法。

技术介绍

[0002]近年来，深度学习的发展彰显了其独特的优越性，大批的学者也将深度学习应用于多视图三维重建领域，不仅提升了目标物体重建的效果，也提高了目标图像恢复的鲁棒性。基于深度学习的三维重建按相机数量可划分为单目、双目以及多目的重建。基于深度学习的多视图三维重建按重建方式又可分为基于点云重建、体素重建、网格重建和深度图重建。
[0003]其中，基于深度图的三维重建方法是多视图重建研究中应用较多的方法。Gallup等人将Plane
‑
Sweeping算法应用于三维重建的研究中，采用多个分割平面投影到摄像机上点的颜色进行一致性对比的方法，判断该点是否为物体表面上的点。该方法的使用受物体遮挡、光照以及物体表面纹理的影响，为了有效的解决此问题，Shu等人提出了一种深度区间估计的方法。虽然采用几何的计算法可以实现对深度图的计算，但实际使用中易受到物体遮挡的影响，对物体缺失纹理的区域具有较差的结果。
[0004]为了有效解决传统MVS方法在重建过程中对物体弱纹理区域、表面反射等问题处理较差，基于深度学习的多视图三维重建算法应运而生。Yao等人提出了MVSNet重建网络，为基于深度学习的多视图三维重建开辟了一个全新的研究领域。但此网络在进行正则化时，需要消耗大量的内存，这就使得该网络难以对高分辨率的场景进行重建。Yao在MVSNet网络的基础上进行改进，提出了R
‑
MVSNet网络，有效的提高了重建网络的整体性能。Yu A等人提出了AACVP
‑
MVSNet网络，引入自注意层，实现分层特征提取；使用相似度量的方法生成成本量，提高了网络对大规模图像重建的能力。Wei Z等人提出了AA
‑
RMVSNet网络，采用了聚合模块，提高上下文间的感知力，减小了遮挡问题对重建结果的影响。Gao S等人提出了MSCVP
‑
MVSNet网络，采用多策略的方法以及训练过程中使用单峰分布作为训练标签的方式，提高重建结果的精确度。Giang K T等人提出动态尺度特征提取网络，提高网络的鲁棒性、减小运行的时间。
[0005]但目前基于深度学习的多视图三维重建网络仍存在的重建精度低、完整度较差和内存消耗大等问题。

技术实现思路

[0006]专利技术目的：
[0007]本专利技术提出一种基于GCF
‑
MVSNet网络的多视图三维重建方法，其目的在于解决目前基于深度学习的多视图三维重建网络仍存在的重建精度低、完整度较差和内存消耗大的问题。
[0008]技术方案：
[0009]本专利技术提出一种基于GCF
‑
MVSNet网络的多视图三维重建方法，步骤为：
[0010]步骤一：将参考图像以及原图像输入GCF
‑
MVSNet网络，GCF
‑
MVSNet网络采用卷积神经网络对输入的参考图像以及原图像进行特征提取，输出N个特征图；
[0011]步骤二：将步骤一输出的N个特征图经单应性变换后，得到N个特征体；对特征体进行聚合，得到代价体；通过GC正则化网络对代价体进行正则化处理，得到概率体；
[0012]步骤三：将步骤二中的概率体恢复为稀疏深度图，将稀疏深度图通过图像深度模型转换为稠密深度图；
[0013]步骤四：将步骤三得到的稠密深度图经高斯—牛顿算法优化，得到优化的稠密深度图，完成多视图三维重建。
[0014]进一步的，步骤一中所述卷积神经网络采用8层的二维卷积神经网络，将第三层和第六层的步长设置为2，其余层的步长设置为1。
[0015]进一步的，步骤二中GC正则化网络以代价体作为输入，经过多组并联的正则化模块，输出正则化的代价体。
[0016]进一步的，每组正则化模块采用了三个串联的改进后的GRU单元，将上层的输出作为下层的输入，在GRU神经网络的基础上进行改进，分别在输入重置门之前和输出重置门和激活函数之间添加卷积层。
[0017]进一步的，步骤三中所述图像深度模型为：
[0018][0019]其中，代表的是稠密深度图，D(q)代表的是稀疏深度图，ω
p,q
代表卷积网络的权重。
[0020]进一步的，步骤四中所述高斯—牛顿算法的步骤为：
[0021]参考图像上的点为p，p在第i张原图像上对应的投影点为p
′
i
，p
′
i
由公式(6)得到，
[0022][0023]式中分别表示对应图像的相机内参、旋转矩阵和平移向量；稠密深度图预测出的深度为D(p)，优化过程主要是求误差(7)最小化的过程，
[0024][0025]式中F
i
为原图像的深度特征图，F0为参考图像的深度特征图；像素点在每个原图像中的残差为r
i
(p)，即原图像与参考图像的深度特征图的差值，由式(8)得到，
[0026]r
i
(p)＝F
i
(p
′
i
)
‑
F0(p)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0027]J
i
(p)表示每个残差对求一阶偏导数的结果，由公式(9)得到，
[0028][0029]雅可比矩阵残差向量通过式(10)可得到当前深度值的增量值δ，
[0030]δ＝
‑
(J
T
J)
‑1J
T
r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0031]最后，经优化后的深度图表达如下：
[0032][0033]进一步的，所述GCF
‑
MVSNet网络的损失函数为：
[0034][0035]式中，x代表预测值与真实值的差异。
[0036]有益效果：
[0037]本专利技术基于三维重建技术现存的问题，以深度学习为基础，提出了GCF
‑
MVSNet网络。首先，对GRU模块进行改进，改进的GRU模块组合得到GC正则化网络，使用该正则化网络可以降低网络的计算量；然后，使用SmoothL1损失函数，提高模型训练后期的收敛精度；最后，使用Adam优化器，优化模型的损失和参数。通过在DTU公开数据集上测试验证，证实了GCF
‑
MVSNet网络可以显著提高重建结果的质量，降低网络对内存的消耗。
附图说明
[0038]图1为二维卷积神经网络网络整体框图；
[0039]图2为GC正则化网络示意图；
[0040]图3为内存消耗及运行时间对比图；
[0041]图4为DTU数据集点云图可视化结果对比图；...

【技术保护点】

【技术特征摘要】
1.一种基于GCF
‑
MVSNet网络的多视图三维重建方法，其特征在于：步骤为：步骤一：将参考图像以及原图像输入GCF
‑
MVSNet网络，GCF
‑
MVSNet网络采用卷积神经网络对输入的参考图像以及原图像进行特征提取，输出N个特征图；步骤二：将步骤一输出的N个特征图经单应性变换后，得到N个特征体；对特征体进行聚合，得到代价体；通过GC正则化网络对代价体进行正则化处理，得到概率体；步骤三：将步骤二中的概率体恢复为稀疏深度图，将稀疏深度图通过图像深度模型转换为稠密深度图；步骤四：将步骤三得到的稠密深度图经高斯—牛顿算法优化，得到优化的稠密深度图，完成多视图三维重建。2.根据权利要求1所述的基于GCF
‑
MVSNet网络的多视图三维重建方法，其特征在于：步骤一中所述卷积神经网络采用8层的二维卷积神经网络，将第三层和第六层的步长设置为2，其余层的步长设置为1。3.根据权利要求1所述的基于GCF
‑
MVSNet网络的多视图三维重建方法，其特征在于：步骤二中GC正则化网络以代价体作为输入，经过多组并联的正则化模块，输出正则化的代价体。4.根据权利要求3所述的基于GCF
‑
MVSNet网络的多视图三维重建方法，其特征在于：每组正则化模块采用了三个串联的改进后的GRU单元，将上层的输出作为下层的输入，在GRU神经网络的基础上进行改进，分别在输入重置门之前和输出重置门和激活函数之间添加卷积层。5.根据权利要求1所述的基于GCF
‑
MVSNet网络的多视图三维重建方法，其特征在于：步骤三中所述图像深度模型为：其中，代表的是稠密深度图，D(q)代...

【专利技术属性】
技术研发人员：刘韵婷，高宇，
申请(专利权)人：沈阳理工大学，
类型：发明
国别省市：