一种基于深度学习的红外运动目标识别方法技术

本发明专利技术公开了一种基于深度学习的红外运动目标识别方法，在Yolo V4骨架网络的每一个残差块中加入注意力模块，三个预测分支中，每个预测分支的最后一个卷积层之前也加入注意力模块；对于输出的特征图，每一幅都在空间维度上进行全局平均池化和最大池化，结果分别输入权值共享的三层全连接网络，得到一维的通道注意力；对于卷积层的输出，在通道维度上进行最大池化和平均池化，将两者在通道维度上相连，输入卷积层，结果经过损失函数，得到单通道的二维空间注意力；通道注意力和空间注意力先后与特征图相乘，得到优化后的特征图。本发明专利技术在卷积神经网络中加入了注意力模块，有效增强网络对有效特征的敏感度，方便嵌入已有网络。方便嵌入已有网络。方便嵌入已有网络。

【技术实现步骤摘要】
一种基于深度学习的红外运动目标识别方法


[0001]本专利技术属于目标识别
，尤其涉及一种基于深度学习的红外运动目标识别方法。

技术介绍

[0002]对于红外运动目标的检测，由于被检测目标存在的场景遮挡、距离远近及一些非刚性形变而加大识别的复杂性，而且红外图像中物体的纹理细节单一、边缘模糊，更是增加了预测的难度。

技术实现思路

[0003]本专利技术提出一种基于深度学习的红外运动目标识别方法，该方法通过骨架网络的残差块和Yolo层中的引入注意力模块，可以提高识别精度。本专利技术基于深度学习对红外场景进行目标检测，通过对深度学习目标检测分类算法YoLo v4算法进行优化和改进，可以有效的对红外运动目标进行准确识别。
[0004]本专利技术公开的基于深度学习的红外运动目标识别方法，包括以下步骤：
[0005]在Yolo V4骨架网络的每一个残差块中加入注意力模块，三个预测分支中，每个预测分支的最后一个卷积层之前也加入注意力模块；
[0006]对于输出的特征图，每一幅都在空间维度上进行全局平均池化和最大池化，结果分别输入权值共享的三层全连接网络，进行维度变化，输出结果相加，再经过sigmoid函数后得到一维的通道注意力；
[0007]对于卷积层的输出，在通道维度上进行最大池化和平均池化，得到二维的中间结果，将两者在通道维度上相连，输入卷积层，结果经过损失函数，得到单通道的二维空间注意力；
[0008]通道注意力和空间注意力先后与特征图相乘，得到优化后的特征图；<br/>[0009]将优化后的特征图进行识别，得到识别结果。
[0010]进一步的，所述得到一维的通道注意力的数学表达如下：
[0011]Z
avg
＝avg(U)
[0012]Z
max
＝max(U)
[0013]S
c
＝σ(fc2(δ(fc1(Z
avg
)))+fc2(δ(fc1(Z
max
))))
[0014]式中，avg(
·
)表示全局平均池化，max(
·
)表示全局最大池化，fc1(
·
)表示维度c
→
c/r的全连接层，σ(
·
)表示ReLU函数，fc2(
·
)表示维度c/r
→
c的全连接层，σ(
·
)表示sigmoid函数，U为特征图。
[0015]进一步的，所述得到单通道的二维空间注意力的数学表达如下：
[0016]Z
AVG
＝AVG(U)
[0017]Z
MAX
＝MAX(U)
[0018]S
s
＝σ(conv
2，1，k
(Z
AVG
；Z
MAX
))
[0019]式中，AVG(
·
)表示通道维度上的平均池化，MAX(
·
)表示通道维度上的最大池化，conv
2，1，k
表示输入通道数为2，输出通道数为1，卷积核尺寸为k的卷积层，σ(
·
)表示sigmoid函数。
[0020]本专利技术的有益效果如下：
[0021]本专利技术在卷积神经网络中加入了注意力模块，注意力模块模仿了人接触外界信息时注意力的不均匀分布，计算量略微提升，但能够有效增强网络对有效特征的敏感度。同时，作为一个即插即用模块，注意力模块能够十分方便地嵌入已有网络。
附图说明
[0022]图1本专利技术的注意力模块的添加位置；
[0023]图2注意力模块的通道注意力生成示意图；
[0024]图3注意力模块的空间注意力生成示意图；
[0025]图4注意力模块的结构图；
[0026]图5本专利技术对静态目标的识别结果；
[0027]图6本专利技术对动态目标的识别结果。
具体实施方式
[0028]下面结合附图对本专利技术作进一步的说明，但不以任何方式对本专利技术加以限制，基于本专利技术教导所作的任何变换或替换，均属于本专利技术的保护范围。
[0029]参考图1，本专利技术的注意力模块的添加位置，在骨架网络的每一个残差块中加入注意力模块，三个预测分支中，最后一个卷积层之前也加入注意力模块。
[0030]对于卷积层输出的特征图，生成一维的通道注意力和二维的空间注意力，进一步提升网络对有效特征的提取能力。
[0031]通道注意力的生成如图2所示。对于输出的特征图，每一幅都在空间维度上进行全局平均池化和最大池化，结果分别输入权值共享的三层全连接网络，进行的维度变化，输出结果相加，再经过sigmoid函数后得到一维的通道注意力。整体流程可由下式表示：
[0032]Z
avg
＝avg(U)
[0033]Z
max
＝max(U)
[0034]S
c
＝σ(fc2(δ(fc1(Z
avg
)))+fc2(δ(fc1(Z
max
))))
[0035]式中，avg(
·
)表示全局平均池化，max(
·
)表示全局最大池化，fc1(
·
)表示维度c
→
c/r的全连接层，σ(.)表示ReLU函数，fc2(
·
)表示维度c/r
→
c的全连接层，σ(
·
)表示sigmoid函数。
[0036]空间注意力的生成过程如图3所示。对于卷积层的输出，在通道维度上进行最大池化和平均池化，得到二维的中间结果，将两者在通道维度上相连，输入卷积层，结果经过损失函数，得到单通道的二维空间注意力。整体流程可由下式表示：
[0037]Z
AVG
＝AVG(U)
[0038]Z
MAX
＝MAX(U)
[0039]S
s
＝σ(conv
2，1，k
(Z
AVG
；Z
MAX
))
[0040]式中，AVG(
·
)表示通道维度上的平均池化，MAX(
·
)表示通道维度上的最大池化，conv
2，1，k
表示输入通道数为2，输出通道数为1，卷积核尺寸为k的卷积层，σ(
·
)表示sigmoid函数。
[0041]通道注意力s
c
和空间注意力s
s
先后与U相乘，得到优化后的特征图，整体流程如图4所示。
[0042]图5和图6本专利技术的算法识别结果，其中图5是静态目标的识别结果，图6是动态目标的识别结果，正确识别的车目标为15
×
13像素，人员为12
×
23像素。...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的红外运动目标识别方法，其特征在于，包括以下步骤：在Yolo V4骨架网络的每一个残差块中加入注意力模块，三个预测分支中，每个预测分支的最后一个卷积层之前也加入注意力模块；对于输出的特征图，每一幅都在空间维度上进行全局平均池化和最大池化，结果分别输入权值共享的三层全连接网络，进行维度变化，输出结果相加，再经过sigmoid函数后得到一维的通道注意力；对于卷积层的输出，在通道维度上进行最大池化和平均池化，得到二维的中间结果，将两者在通道维度上相连，输入卷积层，结果经过损失函数，得到单通道的二维空间注意力；通道注意力和空间注意力先后与特征图相乘，得到优化后的特征图；将优化后的特征图进行识别，得到识别结果。2.根据权利要求1所述的基于深度学习的红外运动目标识别方法，其特征在于，所述得到一维的通道注意力的数学表达如下：Z
avg
＝avg(U)Z
max
＝max(U)S
c
＝σ(fc2(δ(fc1(Z
avg
)))+fc2(δ(fc1(Z
max
))))式中，avg(
·
)表示全局平均池化，ma...

【专利技术属性】
技术研发人员：刘聆，彭波，刘冬云，
申请(专利权)人：长沙一扬电子科技有限公司，
类型：发明
国别省市：