基于多模态无监督图像内容解耦的单目深度估计方法技术

本发明专利技术提供了一种基于多模态无监督图像内容解耦的单目深度估计方法，包括：步骤1：选取现实RGB图像、虚拟RGB图像和对应的深度图构成训练集；步骤2：根据训练集构建多模态无监督图像迁移网络模型，并利用生成对抗网络对网络模型进行训练；步骤3：根据训练集构建深度估计网络模型并进行训练；步骤4：对现实RGB图像进行编码，并根据深度估计网络模型得到深度估计图。本发明专利技术不依赖大量的真实RGB图像对应的深度图，且具有对不同季节、光照环境鲁棒性强的特点。

【技术实现步骤摘要】
基于多模态无监督图像内容解耦的单目深度估计方法
本专利技术涉及图像识别和人工智能
，具体地，涉及一种基于多模态无监督图像内容解耦的单目深度估计方法。尤其地，涉及一种应用于季节、光照等环境变化下的单目深度估计方法。
技术介绍
室外单目深度估计在无人驾驶、移动机器人等领域有着重要的作用。近几年，由于深层卷积网络的推动，基于单目图像的深度估计取得了重大的进展。然而室外场景的真实深度图往往因获取成本过高而难以获取或者质量较低，使得难以直接利用室外单目图像进行有监督的深度估计训练。目前常用的算法有如下三类：早期的马尔可夫随机场算法以及其它的概率图模型，十分依赖人工描述符，使得相较于基于学习的算法表现较差。基于监督训练的深层卷积深度预测器。基于多尺度深度网络的单个图像深度图预测网络，算法首次使用端到端的深层卷积深度估计网络；基于深度卷积神经网络的单目深度估计算法，算法利用神经网络结合连续CRF像素的方法进行深度估计；用于单目深度估计的卷积神经网络可视化算法，使用CNN从像素相关性的角度估计深度图。但这些监督训练存在一个普遍的问本文档来自技高网...

【技术保护点】
1.一种基于多模态无监督图像内容解耦的单目深度估计方法，其特征在于，包括：/n步骤1：选取现实RGB图像、虚拟RGB图像和对应的深度图构成训练集；/n步骤2：根据训练集构建多模态无监督图像迁移网络模型，并利用生成对抗网络对网络模型进行训练；/n步骤3：根据训练集构建深度估计网络模型并进行训练；/n步骤4：对现实RGB图像进行编码，并根据深度估计网络模型得到深度估计图。/n

【技术特征摘要】
1.一种基于多模态无监督图像内容解耦的单目深度估计方法，其特征在于，包括：
步骤1：选取现实RGB图像、虚拟RGB图像和对应的深度图构成训练集；
步骤2：根据训练集构建多模态无监督图像迁移网络模型，并利用生成对抗网络对网络模型进行训练；
步骤3：根据训练集构建深度估计网络模型并进行训练；
步骤4：对现实RGB图像进行编码，并根据深度估计网络模型得到深度估计图。


2.根据权利要求1所述的基于多模态无监督图像内容解耦的单目深度估计方法，其特征在于，所述网络模型包括：图像内容编码器、图像风格编码器和解码器；
网络模型分别利用图像内容编码器和图像风格编码器将RGB图像解耦成图像内容编码和图像风格编码；
解码器将图像内容编码与图像风格编码重新组合得到新的RGB图像；
RGB图像经图像内容编码器编码后得到图像内容编码，图像风格编码通过解码器得到风格迁移图像，使用图像生成对抗网络来保证风格迁移图像与原图像分布一致，使用内容生成对抗网络确保虚拟RGB图像与现实RGB图像分布一致。


3.根据权利要求1所述的基于多模态无监督图像内容解耦的单目深度估计方法，其特征在于，所述步骤2包括：
步骤2.1：单一域图像重建，训练集现实RGB图像域中图像xi分别经过图像内容编码器和图像风格编码器分解成图像内容部分ci和图像风格部分si，内容编码和风格编码经解码器Gi解码重建出RGB图像同样对虚拟RGB图像域中图像xj编码得到内容cj和风格sj，并解码得到重建图像
步骤2.2：跨域图像迁移，训练集现实RGB图像域、虚拟RGB图像域中的两张图像xi、xj分别经图像内容编码器的得到其内容编码信息ci、cj；
步骤2.3：构建损失函数，包括双向重建损失、图像对抗损失、内容对抗损失、图像重建损失和内容风格重建损失，双向重建损失确保编码器和解码器互为逆，图像对抗损失使用图像判别器确保迁移后图像与目标域分布一致，内容对抗损失使用内容判别器确保迁移RGB图像内容编码与现实RGB图像内容编码分布一致。


4.根据权利要求3所述的基于多模态无监督图像内容解耦的单目深度估计方法，其特征在于，所述步骤2.2包括：
按照高斯分布分别从现实RGB图像域和虚拟RGB图像域的风格编码中的随机获取风格信息si、sj，图像xi的内容ci与图像xj的风格sj经解码器获得迁移图像xi→j，即为图像xi风格迁移到虚拟RGB图像域的图像，包括原真实图像的内容信息和虚拟RGB图像域的风格信息,同样得到包括虚拟图像xj的内容信息和现实RGB图像域的风格信息的迁移图像xj→i；
对迁移图xi→j进行内容编码和风格编码，得到重建的图像xi内容信息和虚拟RGB图像域的风格信息同样得到迁移图xj→i的重建内容信息和重建风格信息


5.根据权利要求4所述的基于多模态无监督图像内容解耦的单目深度估计方法，其特征在于，所述损失函数包括：
图像重建损失：在单一域中RGB图像与RGB图像经过内容、风格编码并解码后的重建图像之间的损失，分别对现实RGB图像域和虚拟RGB图像域进行计算，以现实RGB图像域为例，计算公式为：



其中，
p(xi)表示：现实RGB图像域中图像的概率分布；
内容风格重建损失：跨域图像迁移后的迁移图像的内容风格分别与原图的内容和原风格之间的损失，计算公式为：
<...

【专利技术属性】
技术研发人员：王贺升，胡寒江，赵忠臣，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31