深度估计模型的训练方法技术

本申请实施例提供一种深度估计模型的训练方法

【技术实现步骤摘要】
深度估计模型的训练方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种深度估计模型的训练方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]目前单目深度估计的深度学习方法中
,
有一种是利用
SFM(Structure From Motion)
原理
,
通过给予模型不同时间
、
视角的图像
(
如目标帧和参考帧
)
，让模型推论目标帧的深度值并利用参考帧重建目标帧的图像，得到重建帧，误差较低的深度估计所重建出来的重建帧会较接近目标帧
。
[0003]但重建帧相似度在以下情境中无法精准表达深度的误差程度
:
弱纹理
(low texture)
图像即使深度误差很大也能够重建的很接近目标帧
,
让网络学到错误的目标深度估计
。

技术实现思路

[0004]鉴于以上内容，有必要提出一种深度估计模型的训练方法
、
装置
、
电子设备及存储介质，可以降低弱纹理图像对深度估计的影响
。
[0005]深度估计模型的训练方法包括获取第一图像和第二图像；将所述第一图像输入至深度估计模型，以基于所述深度估计模型的参数输出第一深度图像；将所述第一图像和所述第二图像输入至位姿估计模型，以提取所述第一图像和所述第二图像之间的位姿转换关系，其中，所述第一图像与所述第二图像分别为不同视角的图像；根据所述第一深度图像
、
所述位姿转换关系和预先获取的相机参数，生成重建图像；计算重建图像和第一图像的相似度，得到二维损失图提取出所述第一图像中弱纹理区域；根据所述二维损失图确定所述弱纹理区域像素点的第一相似度值；降低所述第一相似度值的比重，得到损失值；基于所述损失值，调节所述深度估计模型的所述参数
。
[0006]相较于现有技术，本专利技术提供的深度估计模型的训练方法
、
装置
、
电子设备及存储介质，前基于弱纹理区域提供的损失值普遍偏低，不论模型是否有学到正确的深度推论，该区域的损失值都不会有太大的差异，因此若弱纹理区域的比重偏高，甚至会拖累整体训练，故此处降低弱纹理区域的比重，即降低弱纹理区域的损失值贡献比重，实现降低弱纹理区域对模型训练的不良影响
。
附图说明
[0007]图1为本申请实施例提供的深度估计模型的训练方法流程示意图
。
[0008]图2为本申请实施例提供的合成重建图像的原理示意图
。
[0009]图3为本申请实施例提供的另一种深度图像模型训练方法流程示意图
。
[0010]图4为本申请实施例提供的一种训练装置结构示意图
。
[0011]图5为申请实施例提供的电子设备的结构示意图
。
[0012]主要元件符号说明
[0013][0014][0015]如下具体实施方式将结合上述附图进一步说明本专利技术
。
具体实施方式
[0016]为使本申请实施例的目的
、
技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0017]在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的应用场景予以介绍
。
[0018]图像的深度信息作为支持计算机视觉技术的重要信息，对三维重建有着重要的意义
。
它可以应用在自主驾驶
、
场景理解
、
机器人学
、3D
重建
、
摄影摄像
、
智能医学
、
智能人机交互
、
空间测绘
、
增强现实等领域
。
举例而言，在自主驾驶中，图像的深度信息可以用来辅助传
感器融合
、
可行驶的空间探测和导航
。
[0019]下面参考附图描述本申请实施例的一种深度估计模型的训练方法
、
装置及电子设备
。
[0020]图1为本申请实施例提供的深度估计模型的训练方法流程示意图
。
其中，需要说明的是，本实施例的深度估计模型的训练方法的执行主体可以为训练装置，该训练装置具体可以为硬件设备，或者硬件设备中的软件等
。
其中，硬件设备例如终端设备
、
服务器等
。
如图1所示，本实施例提出的深度估计模型的训练方法，包括如下步骤：
[0021]步骤
S10
：获取第一图像和第二图像
。
[0022]在本申请实施例中，训练深度估计模型需要获取训练图像数据，训练图像数据包括第一图像和第二图像，其中第一图像和第二图像均为拍摄同一目标对象的图像，且第一图像和第二图像分别为不同视角下拍摄的图像
。
例如，第一图像即为正视角图像，第二图像即为非正视角图像
。
其中目标对象例如人
、
动物
、
车辆
、
建筑物等
。
[0023]在本申请实施例中，第一图像和第二图像可以由单目摄像机拍摄，也可以由双目立体摄像机拍摄
。
在一些实施例中，第一图像和第二图像可以为单目摄像机或双目立体摄像机所拍摄的视频中截取出的视频帧
。
在一些实施例中，训练装置可以将训练图像数据存储在各种数据存储库中，例如，将单眼图像存储在单眼图像存储库中
、
以及将立体图像对存储在立体图像数据存储库中
。
[0024]步骤
S11
：将第一图像输入至深度估计模型，以基于深度估计模型的参数输出第一深度图像
。
[0025]在本申请实施例中，将第一图像输入至深度估计模型中，该深度估计模型输出与第一图像对应的第一深度图像
。
第一深度图像中每个像素点的像素值
(
或灰度值
)
可以代表相对深度也可以代表深度值
。
相对深度可以理解为各个像素点的前后逻辑关系
。
其中，像素点对应的现实物体与摄像设备或参考平面之间的距离称为该像素点的深度值，也即像素点的深度值计即该点对应的现实物体到上述摄像设备的垂直距离
。
[0026]其中，深度估计模型可以为自编码器
(autoencoder...

【技术保护点】

【技术特征摘要】
1.
一种深度估计模型的训练方法，应用于电子设备，其特征在于，所述方法包括：获取第一图像和第二图像；将所述第一图像输入至深度估计模型，以基于所述深度估计模型的参数输出第一深度图像；将所述第一图像和所述第二图像输入至位姿估计模型，以提取所述第一图像和所述第二图像之间的位姿转换关系，其中，所述第一图像与所述第二图像分别为不同视角的图像；根据所述第一深度图像
、
所述位姿转换关系和预先获取的相机参数，生成重建图像；计算重建图像和第一图像的相似度，得到二维损失图；提取出所述第一图像中弱纹理区域；根据所述二维损失图确定所述弱纹理区域像素点的第一相似度值；降低所述第一相似度值的比重，得到损失值；基于所述损失值，调节所述深度估计模型的所述参数
。2.
如权利要求1所述的深度估计模型的训练方法，其特征在于，所述方法还包括：提取出所述第一图像中非弱纹理区域；根据所述二维损失图确定所述非弱纹理区域像素点的第二相似度值；增加所述第二相似度值比重，得到所述损失值
。3.
如权利要求1所述的深度估计模型的训练方法，其特征在于，所述降低所述第一相似度值的比重，得到损失值包括：获取所述第一相似度值的缩小比例；基于所述缩小比例调整述第一相似度值的比重，得到损失值
。4.
如权利要求2所述的深度估计模型的训练方法，其特征在于，所述增加所述第二相似度值比重，得到所述损失值包括：获取所述第二相似度值的放大比例；基于所述放大比例调整述第二相似度值的比重，得到损失值
。5.
如权利要求1至4任一项所述的深度估计模型的训练方法，其特征在于，所述提取出所述第一图像中弱纹理区域包括：获取所述第一图像的颜色和亮度信息；根据所述颜色与亮度信息，将所述第一图像划分区域；计算获得所述第一图像对应的梯度信息；根据所述梯度信息从所述区域中选取出弱纹理区域，其中，所述弱纹理区域为梯度统计平均值在预设范围内的区域
...

【专利技术属性】
技术研发人员：郭锦斌，刘宗玮，
申请(专利权)人：鸿海精密工业股份有限公司，
类型：发明
国别省市：