一种基于特征分离注意力的遥感目标检测知识蒸馏方法技术

本发明专利技术公开了一种基于特征分离注意力的遥感目标检测知识蒸馏方法，包括：分别提取教师网络和学生网络输出的特征图的特征注意力图；将特征图的前景区域和背景区域进行分离，并通过教师网络的特征注意力图计算前景注意力掩膜，通过学生网络的特征注意力图计算背景注意力掩膜；利用前景注意力掩膜和背景注意力掩膜计算L2蒸馏损失；基于L2蒸馏损失，将教师网络的知识迁移至学生网络。本发明专利技术能够有效选取待蒸馏区域，提升蒸馏效率，且在不改变学生网络结构，不增加计算消耗的前提下提升最终的轻量化目标检测网络的检测精度。轻量化目标检测网络的检测精度。轻量化目标检测网络的检测精度。

【技术实现步骤摘要】
一种基于特征分离注意力的遥感目标检测知识蒸馏方法


[0001]本专利技术涉及知识蒸馏
，更具体的说是涉及一种基于特征分离注意力的遥感目标检测知识蒸馏方法。

技术介绍

[0002]大规模高分辨率遥感图像数据集的出现使得深度学习广泛应用于遥感图像目标检测。但是高精度的算法时间复杂度高，依赖于高性能图形处理器。在遥感目标检测的实际工程应用中，嵌入式系统是更加通用的平台。目前有一些轻量化的深度学习目标检测算法，虽然运行速度快，但检测精度仍无法满足任务的需求。
[0003]目前有一些知识蒸馏方法用于提升深度神经网络的性能，例如通过对网络的输出、特征图以及信息流等内容进行迁移学习的方法。但是这些研究大多集中于图像分类领域，在目标检测领域中，对知识蒸馏所要迁移的信息的定义尚不明确，并且由于目标检测的数据中背景区域的比例远高于分类数据，利用图像分类的方法直接进行知识蒸馏会导致背景区域干扰严重，无法达到理想的效果。
[0004]因此，如何提供一种能够有效提取待蒸馏区域，且不增加计算消耗，提高轻量化目标检测网络的检测精度的知识蒸馏方法是本领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征分离注意力的遥感目标检测知识蒸馏方法，其特征在于，包括：分别提取教师网络和学生网络输出的特征图的特征注意力图；将特征图的前景区域和背景区域进行分离，并通过教师网络的特征注意力图计算前景注意力掩膜，通过学生网络的特征注意力图计算背景注意力掩膜；利用前景注意力掩膜和背景注意力掩膜计算L2蒸馏损失；基于L2蒸馏损失，将教师网络的知识迁移至学生网络。2.根据权利要求1所述的一种基于特征分离注意力的遥感目标检测知识蒸馏方法，其特征在于，所述特征注意力图包括空间注意力和通道注意力；其中，空间注意力的计算公式为：通道注意力的计算公式为：其中，G
s
代表空间注意力，用于表征各通道中每个像素位置的重要程度，G
c
代表通道注意力，用于表征特征图各通道的重要程度；H、W和C分别代表特征图的高度、宽度和维度；A
k,i,j
代表特征图A在其第k个通道的i，j坐标位置的像素值。3.根据权利要求1所述的一种基于特征分离注意力的遥感目标检测知识蒸馏方法，其特征在于，所述通过教师网络的特征注意力图计算前景注意力掩膜，包括：计算教师网络输出的特征图A
t
的空间注意力和通道注意力；利用Softmax函数分别对特征图A
t
的空间注意力和通道注意力进行概率归一化；将概率归一化后的特征图A
t
的空间注意力和通道注意力与标注的前景掩膜S
f
相乘，得到加权的前景注意力掩膜J
f
。4.根据权利要求3所述的一种基于特征分离注意力的遥感目标检测知识蒸馏方法，其特征在于，所述前景注意力掩膜的计算公式为：特征在于，所述前景注意力掩膜的计算公式为：特征在于，所述前景注意力掩膜的计算公式为：其中，概率归一化函数将变量z在属于类别i的概率归一化到(0,1)之间，且所有的概率之和为1；H、W、C分别代表特征图A
t
的长度、宽度和维度，和分别代表教师网络的空间注意力和通道注意力，S
f
为前景掩膜，在前景区域处取1，背景区域处取0。5.根据权利要求4所述的一种基于特征分离注意力的遥感目标检测知识蒸馏方法，其特征在于，还包括：根据目标的尺寸大小将前景掩膜S
f
进行归一化，得到归一化前景掩膜
并将归一化前景掩膜代替前景掩膜S
f
计算前景注意力掩膜；归一化前景掩膜的计算公式为：其中，T代表所有目标的总和，t代表每一个目标，s
...

【专利技术属性】
技术研发人员：赵丹培，袁智超，苑博，史振威，张浩鹏，姜志国，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：