一种基于知识蒸馏的目标检测方法技术

本发明专利技术公开了一种基于知识蒸馏的目标检测方法，包括构建教师

【技术实现步骤摘要】
一种基于知识蒸馏的目标检测方法


[0001]本专利技术涉及目标检测方法，具体涉及一种基于知识蒸馏的目标检测方法
。

技术介绍

[0002]随着深度学习技术的不断发展，图像目标检测算法不断优化迭代，并开始应用到工业生产中，但是大多数目标检测算法需要占用大量的空间
、
资源，而轻量化模型的出现很好地解决了这个问题
。
基于知识蒸馏的目标检测算法将原本笨重的复杂网络作为教师模型，将一个较小的模型作为学生模型，通过学生模型学习教师模型的知识，达到与教师模型相近的检测效果
。
模型部署时，可以只部署轻量化的学生模型，也可以同时部署教师模型和学生模型作对比验证
。
然而，轻量化的教师
‑
学生模型依旧存在如下的问题：教师模型提取的特征不够深入，容易受到噪声的干扰，教师模型与学生模型网络结构相近，容易出现过拟合的情况，从而影响检测效果
。

技术实现思路

[0003]专利技术目的：本专利技术的目的是提供一种检测效果好的基于知识蒸馏的目标检测方法...

【技术保护点】

【技术特征摘要】
1.
一种基于知识蒸馏的目标检测方法，其特征在于，包括：
(1)
构建教师
‑
助教
‑
学生模型，其中教师模型包括
P
‑
conv
以及四层堆叠的卷积层
Layer1
至
Layer4
；助教模型包括四层特征处理层
Af1
至
Af4、
特征拼接层
、
空间注意力模块和
Bottleneck
卷积块，特征处理层
Af1
包括三个卷积块，特征处理层
Af2
包括两个卷积块，特征处理层
Af3
和
Af4
均包括一个卷积块，卷积块由卷积层
、
批归一化层
BatchNorm
和
Relu
激活函数层依次连接而成；学生模型包括四层堆叠的反卷积层
Slayer1
至
Slayer4
；预训练的教师模型提取图像的两组深层特征图
F1、F2
和两组浅层特征图
F3、F4
，并输入助教模型；特征图
F1
至
F4
大小依次递增；深层特征图
F1
输入特征处理层
Af1
得到特征图
Al1
；深层特征图
F2
输入特征处理层
Af2
得到特征图
Al2
；浅层特征图
F3
输入特征处理层
Af3
得到特征图
Al3
；浅层特征图
F4
经下采样得到特征图
Al4
；特征图
Al1
至
Al4
维度一致；特征图
Al1、Al2
，
Al2、Al3
，
Al3
，
Al4
两两拼接后，得到特征图
A1
，
A2
，
A3
；特征图
A1
，
A2
，
A3
分别经过特征处理层
Af4
和空间注意力模块处理后，进行横向拼接，得到一张特征图
At
；特征图
At
经过
Bottleneck
卷积块加速计算后，输入学生模型；将特征图
At
输入反卷积层
Slayer1
得到特征图
F5
；将特征图
F5
输入反卷积层
Slayer2
得到特征图
F6
；将特征图
F6
输入反卷积层
Slayer3
得到特征图
F7
；将特征图
F7
输入反卷积层
Slayer4
得到特征图
F8
；
(2)
对教师
‑
助教
‑
学生模型进行训练，其中教师模型参数固定，不参与训练；学生模型和助教模块参与训练；分别计算
F1
与
F8
，
F2
与
F7
，
F3
与
F6
，
F4
与
F5
的余弦相似度，取均值后相加作为损失函数；
(3)
将待检测图像输入经训练的教师
‑
助教
‑
学生模型，教师模型和学生模型分别得到张特征图，分别计算四组特征图的余弦相似度；通过双线性插值采样将特征图恢复到原图尺寸，得出的四组经过双线性采样升维的余弦相似度计算结果取积运算得到特征图
Ma1
，使用高斯滤波对
Ma1
进行平滑处理后，计算
Ma1
中每一个值的特征得分，获取特征得分图；根据特征得分图绘制图像热力图，特征得分越高，在图像热力图中越亮，从而实现目标检测
。2.
根据权利要求1所述的基于知识蒸馏的目标检测方法，其特征在于，
P
‑
conv
包括卷积层
、
批归一化层
、Relu
激活函数层和池化层，卷积层步长为2，填充为3，卷积核大小为7×7；池化层步长为2，填充为1，池化窗口为3×
3。3.
根据权利要求2所述的基于知识蒸馏的目标检测方法，其特征在于，卷积层
Layer1
至
Layer4
包括一组
t_conv
卷积块组和一层并行的下采样层
DownSample
，再连接一层特征拼接层；其中
Layer1

【专利技术属性】
技术研发人员：徐贵龙，胡荣林，李文超，郁延山，陈楚璇，邵逸达，王忆雯，李轩雨，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：