一种多损失函数约束的深度学习单目三维重建方法及系统技术方案

本发明专利技术涉及一种多损失函数约束的深度学习单目三维重建方法及系统，其方法包括：获取多个连续的目标图像帧；确定包括光束平差约束和几何一致性约束的多个损失函数，利用所述多个损失函数训练基于深度学习的三维重建网络；将所述多个连续的目标图像帧，输入到训练完成的三维重建网络，得到目标图像帧的空间三维信息。本发明专利技术基于光束调整法，分别从图像像素域、图像深度域进行帧间双向重投影，从而提高模型预测精度和泛化能力，有效降低图像中随机噪声干扰。干扰。干扰。

【技术实现步骤摘要】
一种多损失函数约束的深度学习单目三维重建方法及系统


[0001]本专利技术属于深度学习与三维重建
，具体涉及一种多损失函数约束的深度学习单目三维重建方法及系统。

技术介绍

[0002]深度学习单目视觉三维重建是指利用单目视觉传感器，基于训练好的深度网络模型，恢复图像帧视域内空间三维信息的过程。深度学习三维重建网络包括深度子网络与位姿子网络。现有深度学习三维重建网络中(无监督训练)，主要采用连续图像帧(3帧或者5帧)作为输入，选取其中一帧图像作为参考帧并计算其他帧投影到参考帧的光度误差，包括平滑损失、SSIM损失及像素重投影损失。由于场景变化，仅从像素域构建损失函数，一方面会导致深度子网络与位姿子网络尺度不一致；另一方面环境中随机噪声干扰会影响单向损失约束(从其他帧映射到参考帧)效果，降低位姿与深度估计的精度，从而导致模型在不同场景的泛化性随之退化。

技术实现思路

[0003]为解决单目视觉三维重建中的精度及模型泛化性受限的问题，在本专利技术的第一方面提供了一种多损失函数约束的深度学习单目三维重建方法，包括：获取多个连续的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多损失函数约束的深度学习单目三维重建方法，其特征在于，包括：获取多个连续的目标图像帧；确定包括光束平差约束和几何一致性约束的多个损失函数，利用所述多个损失函数训练基于深度学习的三维重建网络；将所述多个连续的目标图像帧，输入到训练完成的三维重建网络，得到目标图像帧的空间三维信息。2.根据权利要求1所述的多损失函数约束的深度学习单目三维重建方法，其特征在于，所述确定包括光束平差约束和几何一致性约束的多个损失函数包括：构建单目图像的基准光度损失函数；构建单目图像的像素域的光束平差约束的损失函数；基于所述基准光度损失函数和像素域的光束平差约束的损失函数，构建单目图像的深度域的光束平差约束的损失函数。3.根据权利要求2所述的多损失函数约束的深度学习单目三维重建方法，其特征在于，所述基准光度损失函数通过如下方法计算：其中L
S
表示基准光度损失，s为尺度因子，i和t分别为尺度和帧序号，N为窗口内总帧数，d
t*
表示每个像素点的逆深度经均值归一化后的值，α
x
、α
y
表示为沿着图像的x轴和y轴方向求梯度操作，I
t
表示第t帧图像。4.根据权利要求3所述的多损失函数约束的深度学习单目三维重建方法，其特征在于，所述像素域的光束平差约束的损失函数通过如下方法计算：I
it
→
t+n
(p
t
)为尺度i下的参考源图像，为尺度i下参考源图像的估计图像，SSIM为结构相似性计算函数，β为权重因子。5.根据权利要求4所述的多损失函数约束的深度学习单目三维重建方法，其特征在于，所述深度域的光束平差约束的损失函数...

【专利技术属性】
技术研发人员：王小亮，尹玉成，辛梓，刘奋，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：