基于多尺度特征图重构和知识蒸馏的目标检测方法与系统技术方案

本发明专利技术公开了一种基于多尺度特征图重构和知识蒸馏的目标检测方法与系统，该方法首先利用骨干网络Darknet‑53提取特征，深层特征通过上采样和浅层特征张量拼接生成多尺度特征图；然后采用特征重标定策略来自动获取特征图中每个通道的权重，依照权重提升有用的特征并抑制无用特征，再用残差模块融合顶层特征的语义信息和底层特征的细节信息；再将骨干网络中批量归一化层的γ系数引入到剪枝目标函数中进行训练，根据修剪阈值将低于阈值的γ系数所在通道从模型中去除；最后将训练好的YOLOv3基准模型作为教师网络，剪枝后的模型作为学生网络进行知识蒸馏。本发明专利技术改善了在大范围内不同大小物体检测的精度问题，同时降低了模型的计算量，提高了模型检测速度。

【技术实现步骤摘要】
基于多尺度特征图重构和知识蒸馏的目标检测方法与系统
本专利技术提供一种基于多尺度特征图重构和知识蒸馏的目标检测方法与系统，属于计算机视觉的目标检测

技术介绍
图像目标识别是一项涉及计算机视觉、模式识别及人工智能等多领域的研究课题，随着硬件技术的快速发展，基于深度学习平台的嵌入式智能设备日渐成熟，越来越多的检测算法嵌入到智能设备上，但是传统的检测方法对于一定范围内不同大小的目标检测精度相差较大，不能精准地识别目标，达不到日常需求，并且传统检测算法模型参数过多，所需算力较大，不能很好地在嵌入式设备上运行，所以要提出一种既能够使得检测算法满足多尺度目标检测精度，且能够在保证精度的情况下更快地运行在嵌入式设备上的技术，是一个很有挑战性的工作。传统的目标识别算法大多使用特征金字塔来学习多尺度特征，以获得更好的检测精度，然而，目前的特征金字塔设计仍然不足以将语义信息整合到不同的尺度上，骨干网络将提取的特征分为高级特征和低级特征，高层特征具有更强的语义信息，但是分辨率小，对细节的感知能力较差。对于小目标的检测效果较差，低层特征分辨率更大，包本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征图重构和知识蒸馏的目标检测方法，其特征在于，包括如下步骤：/n(1)基于训练图像数据集训练YOLOv3模型生成基准模型，利用YOLOv3的骨干网络Darknet-53提取图像的特征，深层特征通过上采样和浅层特征张量拼接生成多尺度特征图；/n(2)对步骤(1)中的特征图沿着空间维度进行特征压缩，将每个二维的特征通道压缩成一个具有全局感受野的实数，其输出的维度和输入的特征通道数相匹配，通过循环神经网络的门控机制为每个特征通道生成权重，再将权重加权到先前的特征上，完成在通道维度上的对原始特征的重标定；/n(3)通过残差模块融合顶层特征的语义信息和底层特征的细节信息，并最终输出不...

【技术特征摘要】
1.一种基于多尺度特征图重构和知识蒸馏的目标检测方法，其特征在于，包括如下步骤：
(1)基于训练图像数据集训练YOLOv3模型生成基准模型，利用YOLOv3的骨干网络Darknet-53提取图像的特征，深层特征通过上采样和浅层特征张量拼接生成多尺度特征图；
(2)对步骤(1)中的特征图沿着空间维度进行特征压缩，将每个二维的特征通道压缩成一个具有全局感受野的实数，其输出的维度和输入的特征通道数相匹配，通过循环神经网络的门控机制为每个特征通道生成权重，再将权重加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
(3)通过残差模块融合顶层特征的语义信息和底层特征的细节信息，并最终输出不同尺度的特征图用于检测；
(4)将骨干网络中批量归一化(BN)层的γ系数引入剪枝目标函数中进行联合训练，对训练后γ系数进行归一化并排序，根据修剪阈值，将低于阈值的γ系数所在通道从模型中去除，对YOLOv3模型进行剪枝；
(5)将步骤(4)中经过剪枝的模型作为学生模型，将基准模型作为教师网络进行知识蒸馏，利用教师模型生成的软标签指导学生模型进行训练，并使用指示学习加快蒸馏速度；
(6)将待检测的图像输入到步骤(5)中训练好的学生模型进行目标检测。


2.根据权利要求1所述的基于多尺度特征图重构和知识蒸馏的目标检测方法，其特征在于，所述步骤(2)中包括：
(2.1)将步骤(1)生成的多尺度特征图进行自适应采样，扩展为W*H的特征图；
(2.2)沿着空间维度进行特征压缩，将每个二维的特征通道压缩成一个具有全局感受野的实数，其输出的维度和输入的特征通道数相匹配，具体操作如下：



其中，W和H分别为特征图宽度和高度，xc(i,j)表示第c层通道中坐标为(i,j)的指定元素，zc表示第c层通道被压缩后的输出；
(2.3)通过循环神经网络的门控机制为每个特征通道生成权重：
s＝σ(W2δ(W1z))
其中，z为步骤(2.2)的输出，是大小为1×1×C的张量，C为特征图的通道数，W1和W2分别为两个全连接层中的权重，δ为ReLU函数，σ为sigmod激活函数，s为经过加权后大小为1×1×C的张量，其数值表示每层通道的重要度；
(2.4)将步骤(2.3)中的输出和原始特征图进行相乘：



其中，x为原始特征图，大小为W×H×C，表示矩阵相乘，表示经过加权后的特征图，大小为W×H×C，上式用于在通道维度上的对原始特征的重标定。


3.根据权利要求2所述的基于多尺度特征图重构和知识蒸馏的目标检测方法，其特征在于，所述步骤(3)中包括：
(3.1)定义步骤(2.4)中输出的不同维度的特征图中的一个特征图表示为：
Xnet＝{x1,x2,…xl…,xC}
其中，xl表示第l层通道的特征值，Xnet表示整个特征图；
(3.2)引入残差模块，将步骤(2.4)中的不同维度的特征图之间进行跨通道连接，如下所示：
x′l＝R(xl)+Wlxl
其中，Wl是第l层的权重，R(·)表示残差映射，x′l表示经过桥连后的特征值，最终用于检测的其中一个特征图表示为：
X′net＝{x′1,x′2，…x′l…，x′c}
上述操作是将不同尺度的特征图经过残差处理，融合了不同维度特征图所表示的高层语义信息和底层细节信息，提高不同维度目标检测的准确性。


4.根据权利要求1所述的基于多尺度特征图重构和知识蒸馏的目标检测方法，其特征在于，所述步骤(4)中包括：
(4...

【专利技术属性】
技术研发人员：刘天亮，平安，戴修斌，邹玉龙，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32