一种多频谱图像监督的红外图像深度估计方法技术

本发明专利技术公开了一种多频谱图像监督的红外图像深度估计方法，包括以下步骤：1)构建频谱转换模块：根据多频谱图像，得到频谱转换图像；2)构建频谱转换损失模块：根据红外图像，得到视差；3)构建辅助损失模块：利用步骤得到的频谱转换图像和视差通过图像翘曲，计算辅助损失，并利用该损失迭代优化频谱转换网络模型。4)构建深度估计损失模块：利用得到的视差进行图像翘曲，计算深度估计损失，并利用该损失迭代优化深度估计网络模型；5)构建辅助损失模块：利用得到的频谱转换图像和视差通过图像翘曲，计算辅助损失，并利用该损失迭代优化频谱转换网络模型。6)整体框架训练：包括数据预处理，模型框架预热，训练以及测试四个阶段。训练以及测试四个阶段。训练以及测试四个阶段。

【技术实现步骤摘要】
一种多频谱图像监督的红外图像深度估计方法


[0001]本专利技术涉及一种红外图像深度估计方法，属于计算机图形学
，具体地说是一种多频谱图像监督的红外图像深度估计方法。

技术介绍

[0002]对许多大型和复杂的工程，人们迫切的需要一种能够长期对工程质量监控并定期检测工程缺陷的低成本解决方案，来保障工程安全并满足日常维护的需求，因此巡检机器人便受到了许多人的关注。巡检机器人通过各类传感器获取多模态信息来完成一系列的二维或三维任务，例如二维任务中缺陷检测以及三维任务中三维重建。而深度信息在这些任务中起到了重要作用。
[0003]考虑到红外相机有着环境不敏感的特性，无论外部光源存在与否，红外相机都可以直接测量物体和环境的红外辐射，因此，利用单目红外相机获取的红外图像来得到深度信息有着比其他方法更加突出的优点。例如，相比于利用价格昂贵，且在面对复杂场景时会有不同的缺陷的激光雷达、带结构光的深度相机等主动式传感器，利用红外相机这种基于标准成像技术的被动式传感器价格更加低廉、重量更轻、适应性更强，可以更灵活的在巡检机器人上部署，并且能够适应不同复杂环境；相比于在夜间环境和低光照甚至是零光照环境无法很好的进行预测的，利用了单目RGB相机获取的RGB图像结合深度估计技术的方式得到深度信息的方法，如文献1：Godard C,Aodha O M,Firman M,et al.Digging Into Self
‑
Supervised Monocular Depth Estimation.International Conference on Computer Vision，2019，3827
‑
3837.，有着环境不敏感特性的红外相机可以更好的获取图像中物体的几何信息，更好的利用深度估计技术进行图像深度估计，可以克服可见光频谱在弱光照环境无法很好进行深度估计的缺点。
[0004]目前，从单张红外图像中得到深度信息的红外图像深度估计方法是采用监督的方式，例如，文献2：Wang，Q.，Zhao，H.,Hu,Z.et al.Discrete convolutional CRF networks for depth estimation from monocular infrared images.Int.J.Mach.Learn.&Cyber.12，2021，187
–
200.，不过这种需要深度标签的方法增加了数据集的获取代价和成本。在不使用深度标签的情况下，仅仅从单张红外图像是难以得到深度信息的，此时希望利用更加便宜的RGB相机来产生监督信号。但是，多频谱监督的红外图像深度估计有着频谱间存在着较大的外观差异，无法直接将两者匹配的问题。因此本文提出了一种多频谱图像监督的红外图像深度估计方法。该方法可以在没有深度标签监督的条件下利用多模态的信息作为监督信号，从单张红外图像中得到深度信息。

技术实现思路

[0005]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供了一种多频谱图像监督的红外图像深度估计方法，该方法可以较为准确的估计单张红外图像的深度信息。
[0006]为了解决上述技术问题，本专利技术公开了一种多频谱图像监督的红外图像深度方法，包括以下步骤：
[0007]步骤1，构建频谱转换模块：搭建频谱转换网络，将多频谱图像输入到频谱转换网络模型中，在忽略视差的情况下得到多频谱图像的频谱转换图像，即红外右图像和RGB左图像转换为RGB右图像和红外左图像；所述右图像为双目相机中由右侧相机得到的图像，所述左图像为双目相机中由左侧相机得到的图像，所述红外表明图像的频谱为红外频谱，所述RGB表明图像的频谱为可见光频谱，即由红、绿、蓝三个通道组成的图像。
[0008]步骤2，构建深度估计模块：搭建深度估计网络，将红外右图像输入到深度估计网络模型中得到视差；
[0009]步骤3，构建频谱转换损失模块：利用步骤1得到的频谱转换网络模型和频谱转换图像获取循环转换图像和一致重建图像，计算得到频谱转换损失，并利用该损失迭代优化频谱转换网络模型；
[0010]步骤4，构建深度估计损失模块：利用步骤2得到的视差进行图像翘曲，计算得到深度估计损失，并利用该损失迭代优化深度估计网络模型；
[0011]步骤5，构建辅助损失模块：利用步骤1、步骤2得到的频谱转换图像和视差通过图像翘曲，计算得到辅助损失，并利用该损失迭代优化频谱转换网络模型。
[0012]步骤6，整体框架训练：将多频谱图像数据集通过通道拓展统一到一致通道，将处理后的数据输入至频谱转换模块得到频谱转换图像，通过频谱转换损失模块对频谱转换模块进行预热，输入至深度估计模块中得到视差，通过深度估计损失模块、频谱转换损失模块以及辅助损失模块顺序迭代优化频谱转换模块和深度估计模块，利用训练好的深度估计模块和后处理实现单张红外图像的深度估计。
[0013]步骤1包括以下步骤：
[0014]步骤1
‑
1：搭建频谱转换网络包括构建频谱转换生成器G和频谱转换判别器D
[0015]步骤1
‑
2：输入多频谱频谱图像在忽略视差的情况下得到频谱转换图像,有和即将红外右图像I
A
(p)转换为RGB右图像将RGB左图像I
B
(p)转换为红外左图像其中，上标fake表明该图像是由频谱转换模块得到的输出项。
[0016]步骤2包括以下步骤：
[0017]步骤2
‑
1：搭建深度估计网络包括构建深度估计网络M；
[0018]步骤2
‑
2：将输入的单张红外右图像I
A
(p)生成左右视差d
l
和d
r
。其中，左视差d
l
对应多频谱图像中RGB左图像I
B
(p)的视差，右视差d
r
对应输入的红外右图像I
A
(p)的视差。l与r分别表示左图像和右图像；
[0019]步骤3包括以下步骤：
[0020]步骤3
‑
1：获取循环转换图像和一致重建图像；
[0021]步骤3
‑
2：设计频谱转换损失。第一次迭代优化频谱转换网络时利用频谱转换损失，频谱转换损失由L
G
和L
D
两部分组成，形式为：
[0022][0023][0024]其中，λ
cyc
,λ
rec
,λ
g
和λ
d
分别是损失项和的权重，本专利技术中分别设置为10,5,1,1。和分别是共享编码器的循环生成对抗网络F
‑
CycleGAN生成器G和判别器D的对抗损失，该损失完成了图像转换的任务。是循环一致损失，是一致重建损失，这两个损失共同完成了频谱转换时忽略视差的任务。上下标中的cyc表明该变量与循环一致损失相关，rec表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多频谱图像监督的红外图像深度估计方法，其特征在于：包括以下步骤，步骤1，构建频谱转换模块：搭建频谱转换网络模型，将多频谱图像输入到频谱转换网络模型中，得到多频谱图像忽略视差的频谱转换图像；步骤2，构建深度估计模块：搭建深度估计网络模型，将红外右图像输入到深度估计网络模型中得到视差；步骤3，构建频谱转换损失模块：利用步骤1得到的频谱转换网络模型和频谱转换图像获取循环转换图像和一致重建图像，计算得到频谱转换损失，利用频谱转换损失对频谱转换网络模型进行迭代优化；步骤4，构建深度估计损失模块：利用步骤2得到的视差进行图像翘曲，计算得到深度估计损失，利用深度估计损失迭代优化深度估计网络模型；步骤5，构建辅助损失模块：利用步骤1和步骤2得到的频谱转换图像和视差通过图像翘曲计算得到辅助损失，并利用辅助损失对频谱转换网络模型进行迭代优化；步骤6，整体框架训练：将多频谱图像数据集通过通道拓展统一到一致通道，将处理后的数据输入至频谱转换模块得到忽略视差的频谱转换图像；通过频谱转换损失模块对频谱转换模块进行预热，将红外右图像输入至深度估计模块中得到视差；通过频谱转换损失模块、深度估计损失模块以及辅助损失模块顺序迭代优化频谱转换模块和深度估计模块，利用训练好的深度估计模块和后处理实现单张红外图像的深度估计。2.根据权利要求1所述的一种多频谱图像监督的红外图像深度估计方法，其特征在于：步骤1包括以下步骤，步骤1
‑
1：搭建频谱转换网络，包括构建频谱转换生成器G和频谱转换判别器D；所述频谱转换生成器G包括一个编码器F，两个解码器G
A
和G
B
，频谱转换判别器D由两个判别器D
A
和D
B
组成；步骤1
‑
2：输入多频谱图像，得到忽略视差的频谱转换图像,和将红外右图像I
A
(p)转换为RGB右图像将RGB左图像I
B
(p)转换为红外左图像其中，p表示图像内任意一点的像素坐标，下标A表示红外频谱，下标B表示RGB频谱，上标fake表明图像是由频谱转换模块得到的输出项，RGB表示图像由红、绿、蓝三个通道组成。3.根据权利要求2所述的一种多频谱图像监督的红外图像深度估计方法，其特征在于：步骤2包括以下步骤，步骤2
‑
1：搭建深度估计网络，包括构建深度估计网络M；步骤2
‑
2：将输入的单张红外右图像I
A
(p)生成左右视差d
l
和d
r
；其中，左视差d
l
对应多频谱图像中RGB左图像I
B
(p)的视差，右视差d
r
对应输入的红外右图像I
A
(p)的视差；l与r分别表示左图像和右图像。4.根据权利要求3所述的一种多频谱图像监督的红外图像深度估计方法，其特征在于：步骤3包括以下步骤，步骤3
‑
1：获取循环转换图像和一致重建图像；步骤3
‑
2：设计频谱转换损失；频谱转换损失由L
G
和L
D
两部分组成，表示为：
其中，和分别是生成器G和判别器D的对抗损失；表示循环一致损失，表示一致重建损失；λ
cyc
、λ
rec
、λ
g
和λ
d
分别是损失项和的权重；λ表示变量是超参数，cyc表示变量与循环一致损失相关，rec表明变量与一致重建损失相关，adv表明变量与对抗损失相关，g与d分别表示变量与生成器G的对抗损失和判别器D的对抗损失相关。5.根据权利要求4所述的一种多频谱图像监督的红外图像深度估计方法，其特征在于：步骤3
‑
1包括以下步骤：步骤3
‑1‑
1：将频谱转换图像和输入到频谱转换网络的生成器中得到循环转换图像和即：和步骤3
‑1‑
2：将多频谱图像红外右图像I
A
(p)和RGB左图像I
...

【专利技术属性】
技术研发人员：孙正兴，刘胡伟，孙蕴瀚，张巍，
申请(专利权)人：南京大学，
类型：发明
国别省市：