基于域适应的红外目标检测算法制造技术

本发明专利技术涉及计算机视觉中的红外目标检测领域，更具体地，涉及到一种基于域适应的红外目标检测算法

【技术实现步骤摘要】
thermal object detectionusing meta
‑
learning[C]//Proceedings of the IEEE/CVF Winter Conference on Applications ofComputer Vision.2022:1412
‑
1423.

技术实现思路

[0011]为了解决上述问题，本专利技术提出了一个新的域适应目标检测算法，它将从包含大量标记数据的可见域学到的知识转移到无标记的红外域中，以此来提升红外目标检测器的性能
。
[0012]为达到以上目的，本专利技术采用的技术方案是：一个基于光照引导的注意力机制模块
(IAM)
，它能够有选择地关注不同域间的不变特征
。
这些特征通常在前景中比在背景中更丰富
。IAM
在光照信息的指导下区分前景和背景，并在域适应期间强调前者
。
一个基于原型的渐进式适应模块
(PPA)
，该模块分两个阶段进行域对齐：类别无关的原型适应和特定类别的原型适应
。
包括以下步骤：
[0013](1)
生成图像特征
[0014]输入一张有标签的可见光域的图像和一张无标签的红外域的图像，通过特诊提取网络产生可见光域和红外域的图像特征
。
[0015](2)
生成增强后的图像特征
[0016]将步骤
(1)
中产生的图像特征送入基于光照引导的注意力模块，以进行图像特征的增强，突出其中的域不变特征
。
[0017](3)
训练区域候选网络
(RPN)
，并获取
RPN
特征
[0018]将步骤
(2)
中得到的增强后的图像特征和可见光域图像的标签输入
RPN
网络，训练
RPN
网络中的分类器和定位器，同时输出
RPN
特征
。
[0019](4)
训练区域卷积神经网络
(RCNN)
，并获取
RCNN
特征
[0020]将步骤
(3)
中获得的
RCNN
特征和可见光域图像的标签输入
RCNN
网络，训练
RCNN
网络中的分类器和定位器，同时输出
RCNN
特征
。
[0021](5)
执行域适应操作
[0022]将步骤
(3)
和步骤
(4)
中获得的
RPN
特征和
RCNN
特征输入基于原型的域适应模块，通过对
RPN
特征进行粗略的类别无关的原型适应，并且进一步对
RCNN
网络进行更精细的特定类别的原型适应，以提高模型的域适应能力
。
[0023]本专利技术设计的算法由检测网络，
IAM
模块和
PPA
模块组成
。
在测试阶段，将红外域图像输入到训练得到的目标检测网络，可得到其分类结果和定位结果
。
与现有技术相比，本专利技术的效果在于极大地提高了在红外域中目标检测的准确率
。
附图说明
[0024]图1是本专利技术的训练阶段流程图；
[0025]图2是本专利技术的网络框架图；
[0026]图3是本专利技术在
KAIST
数据集中与现有先进网络的性能比较；
[0027]图4是本专利技术在
FLIR
数据集中与现有先进网络的性能比较；
[0028]图5是本专利技术在
KAIST
数据集中的检测可视化图；
[0029]图6是本专利技术在
FLIR
数据集中的检测可视化图；
具体实施方式
[0030]为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述
。
[0031]在大规模
RGB
数据集上训练的目标检测模型被广泛使用，但在不利的照明和光照条件下往往表现得很差
。
相比之下，热红外
(IR)
相机在这种情况下更加稳健，使其在现实世界的应用中具有很大优势
。
然而，由于可用的标记红外数据数量有限，训练一个强大的红外物体检测器具有挑战性
。
[0032]为了解决这个问题，本专利技术通过利用大规模的可见光数据集来补充小规模的红外数据集，从而提高红外域中目标检测模型的性能
。
从而本专利技术提出了一种新的基于域适应的红外目标检测方法，它整合了基于光照引导的注意模块和基于原型的适应模块
。
第一个模块利用光照信息，有选择地关注领域不变的特征，这对不同领域的稳健适应很重要
。
另一方面，第二个模块同时执行类别无关的和特定类别的适应，以进一步提高模型的适应能力
。
通过利用注意力模块的输出，基于原型的适应模块可以更有效地调整可见域和红外域之间的分布，从而使检测器在红外域的性能更好
。
[0033]实施例1[0034]一种基于光照引导的注意力机制，参见图1和图2，该方法包含以下步骤：
[0035]101
：分类当前输入图片是白天还是黑夜；
[0036]其中，该步骤
101
的操作具体为：
[0037]一个输入图像
x
i
被提供给特征提取网络，并生成图像级特征图沿着卷积层的通道轴进行平均池化和最大池化运算
。
通过连接这些操作的输出，得到一个特征表示，然后将其送入具有
ReLU
激活函数的卷积层
。
将得到的特征表示记作然后，
f
r
被卷积层处理，接着是两个全连接层和一个
sigmoid
激活函数，最终得到网络的输出
。
这个输出被表示为
C(f
r
)。
[0038]在训练期间，本专利技术使用以下损失函数来优化
DNC
网络：
[0039][0040]训练标签
z
i
是根据拍摄时间分配给每个训练图像
x
i
的
。
具体来说，白天拍摄的图像，
z
i
被设置为0，夜间拍摄的图像被设置为
1。
[0041]102
：光照引导的注意力图生成；
[0042]其中，该步骤
102
的操作具体为：
[0043]使用在
DNC
网络中学到的内部表征
(
即第一个卷积层之后的表征
)
作为注意力机制的输入
。
在构建注意力图时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于域适应的红外目标检测算法，包括以下步骤：
(1)
生成图像特征输入一张有标签的可见光域的图像和一张无标签的红外域的图像，通过特诊提取网络产生可见光域和红外域的图像特征
。(2)
生成增强后的图像特征将步骤
(1)
中产生的图像特征送入基于光照引导的注意力模块，以进行图像特征的增强，突出其中的域不变特征
。(3)
训练区域候选网络
(RPN)
，并获取
RPN
特征将步骤
(2)
中得到的增强后的图像特征和可见光域图像的标签输入
RPN
网络，训练
RPN
网络中的分类器和定位器，同时输出
RPN
特征
。(4)
训练区域卷积神经网络
(RCNN)
，并获取
RCNN
特征将步骤
(3)
中获得的
RCNN
特征和可见光域图像的标签输入
RCNN
网络，训练
RCNN
网络...

【专利技术属性】
技术研发人员：周圆，张宏阳，
申请(专利权)人：天津大学，
类型：发明
国别省市：