一种鲁棒的自监督学习单帧图像深度估计方法技术

本发明专利技术提供了一种鲁棒的自监督学习单帧图像深度估计方法，首先生成单帧深度及帧间相对运动数据，然后依次计算光照鲁棒性损失函数、相对运动区域掩膜和环路一致性损失，最终得到网络最终损失函数。本发明专利技术能够有效提升自监督学习的深度估计方法在复杂场景下的鲁棒性以及学习能力，从而使得方法可以更好适应真实世界中光照变化剧烈、物体运动复杂的场景中，具有很强的应用价值。

【技术实现步骤摘要】
一种鲁棒的自监督学习单帧图像深度估计方法
本专利技术涉及一种图像深度估计方法，特别是一种自监督单帧图像深度估计方法。
技术介绍
基于自监督学习深度估计方法突破了基于深度学习的一般方法需要带标签数据的限制，具有重要的研究意义。文献“GodardC,MacAodhaO,FirmanM,etal.Diggingintoself-supervisedmonoculardepthestimation[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.2019:3828-3838.”提出了一种基于自监督估计的深度估计方法，利用帧间残差函数最小值来处理自监督学习中场景的遮挡；并提出基于损失值的二元掩膜降低相对静止场景带来的监督信号偏差；最后采用多层级深度图升采样的方式提升多层级自监督效果。该方法有效提升了自监督估计的精度。然而，自监督深度估计方法利用图像损失函数作为监督信号，这要求相邻帧之间图像亮度稳定，且图像中不能存在相对运动的物体，如汽车、行人等。而在真实场景中，这两种要求往往本文档来自技高网...

【技术保护点】
1.一种鲁棒的自监督学习单帧图像深度估计方法，其特征在于包括以下步骤：/n步骤一，在序列图像中截取相邻的三帧图像(I

【技术特征摘要】
1.一种鲁棒的自监督学习单帧图像深度估计方法，其特征在于包括以下步骤：
步骤一，在序列图像中截取相邻的三帧图像(It-1,It,It+1)作为一个训练样本，依次截取序列图像中所有相邻三帧图像组成训练样本集，其中，设It为目标图像，设It′∈(It-1,It+1)为两帧源图像；将It输入到深度估计网络fD中获取深度图并将两个图像对(It,It′)分别输入到运动估计网络fM中，获取两对帧间运动参数(Rt→t′,tt→t′)，其中Rt→t′和tt→t′分别为目标图像到源图像视角位姿变化的3*3旋转矩阵以及3*1的相对平移向量；
步骤二，将两帧源图像It′∈(It-1,It+1)生成仿真的目标图像It′→t，源图像It′上的像素pt′在目标图It上的对应点pt′＝K[Rt→t′|tt→t′]Dt(pt)K-1pt，其中，Dt(pt)为像素pt位置上的深度，K为拍摄相机的内参数；计算仿真的目标图像It′→t与真实目标图像间的损失图Lp(It,It′→t)＝min(r(It,It′→t))，其中min(·)为逐像素求取最小值操作，r(It,It′→t)为两帧图像间像素误差值；
步骤三，采用掩膜与损失图逐像素相乘的方法剔除相对运动区域；
步骤四，计算环路一致性损失其中I为单位矩阵，Rt-1→t,Rt→t+1,Rt+1→t-1分别为三张输入图(It-1,It,It+1)两两输入运动估计网络中得到的旋转矩阵，为矩阵乘法，避免估计退化的正则项||R′i→j||为矩阵Ri→j非对角线元素绝对值之和；
步骤五，计算网络最终输入的...

【专利技术属性】
技术研发人员：孙瑾秋，张艳宁，李睿，朱宇，何贤拓，李贤俊，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61