一种基于改进MVSNet的三维重建方法及系统技术方案

本发明专利技术公开了一种基于改进MVSNet的多视图三维重建方法及系统，属于三维重建技术领域。该方法包括如下步骤：将参考图像及源图像输入改进MVSNet网络中，通过卷积层及ECA模块提取图像的特征，得到参考图像和源图像的特征图；通过可微分的单应性变换得到特征体，通过组相似性度量模块聚合匹配代价体；通过3D卷积模块将匹配代价体正则化得到概率体；概率体由深度回归得到深度图；通过高斯牛顿优化模块优化深度图得到最终的深度图；融合所有得到的深度图和坐标变化得到稠密点云并进行三维模型的可视化。相比传统MVSNet方法，本发明专利技术充分提高了图像的特征表达能力，生成的三维点云有更高精度和完整度，并且对弱纹理、重复纹理等区域具有较高的鲁棒性。域具有较高的鲁棒性。

【技术实现步骤摘要】
一种基于改进MVSNet的三维重建方法及系统


[0001]本专利技术属于三维重建
，尤其涉及一种基于改进MVSNet的三维重建方法及系统。

技术介绍

[0002]三维重建是一种将现实世界中的物体或场景转换为三维模型的过程。它是计算机视觉和计算机图形学领域的重要技术，具有广泛的应用，包括虚拟现实、增强现实、游戏开发、数字化文物保护等领域。在三维重建中，通常需要借助传感器、图像处理算法和计算机图形学技术来获取并处理物体或场景的信息。一些常用的三维重建技术有：点云重建、多视图三维重建、结构光重建、RGB
‑
D重建等。
[0003]多视角立体视觉MVS(MultipleView Stereo)是指从多个视角观察并获取场景的图像，利用图像和对应的相机参数恢复场景的三维表达，完成立体匹配和深度估计。即利用多个视角的图像信息来重建三维模型，它通常包括图像特征提取、相机姿态估计、三维点云重建等步骤。多视图立体重建技术在摄影测量、三维重建和虚拟现实等领域得到广泛应用。
[0004]传统的多视角立体重建方法主要是利用几何、光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进MVSNet的三维重建方法，其特征在于，包括以下步骤：步骤1、获取同一场景同一物体的N张多视角图像集，从中选取一张作为参考图像和(N
‑
1)张作为源图像；步骤2、将所述参考图像和源图像输入改进MVSNet网络，对每幅图像进行特征提取，得到参考图像和源图像的特征图；步骤3、将所述特征图在不同深度假设平面进行可微分单应性变换，得到特征体；将得到的特征体划分为g个通道组，通过组相似性度量模块计算组相似度，基于组相似度得到匹配代价体；步骤4、使用3D卷积对匹配代价体进行正则化操作，得到概率体；步骤5、将概率体沿深度方向计算深度期望值，得到初始估计的深度图；步骤6、通过高斯牛顿优化方法对初始估计的深度图进行优化，得到优化后的深度图；步骤7、融合优化后的深度图，通过坐标变换得到稠密点云，对稠密点云进行三维模型可视化，得到三维重建模型。2.如权利要求1所述的基于改进MVSNet的三维重建方法，其特征在于，所述对每幅图进行特征提取的具体操作为：将输入的源图像和参考图像通过8个卷积层和2个ECA模块进行特征提取，得到参考图像和源图像的特征图。3.如权利要求1所述的基于改进MVSNet的三维重建方法，其特征在于，将所述特征图在不同深度假设平面进行可微分单应性变换，得到特征体，具体过程为：以垂直于参考相机主光轴的平面作为深度假设平面，特征图被扭曲到参考相机的不同前平面中，将源图像上的所有像素坐标映射到参考图像上的像素坐标，从最小深度记为d
min
，按照深度假设间隔一直映射到最大深度d
max
，得到特征体。4.根据权利要求3所述的基于改进MVSNet的三维重建方法，其特征在于，所述扭曲的过程如式(1)所示：式(1)中K
i
，K
ref
分别为源图像和参考图像的相机内参，R
ref，i
为对应的旋转矩阵，t
ref，i
为对应的平移向量，d
j
为对应的采样深度值，p
i，j
为I
i
源图像中像素p的坐标。5.根据权利要求4所述的基于改进MVSNet的三维重建方法，其特征在于，组相似度由式(2)得到：式(2)中g的取值范围为[0,G
‑
1]；是对应特征体的第g组特征体；是对应的第g组的特征体；<
·
>是内积运算。6.根据权利要求5所述的基于改进MVSNet的三维重...

【专利技术属性】
技术研发人员：彭艳，赖鸿伟，周洋，瞿栋，谢少荣，蒲华燕，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：