一种基于图像知识回顾的深度卷积神经网络自蒸馏方法技术

本发明专利技术公开了本发明专利技术公开一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，该方法首先针对目标网络设置辅助网络，在目标网络的下采样层引出分支，采用知识回顾的思路依次融合和连接各个分支，在训练过程中，通过监督学习以及采用目标网络的下采样层向引出分支层进行学习的方式，达到自蒸馏的目的。本发明专利技术在深度卷积神经网络自蒸馏领域引入知识回顾的思路，提高了深度卷积神经网络的训练精度；采用辅助网络的形式进行自蒸馏，相对使用数据增强来拉进类内距离的自蒸馏方法，在实际应用中更加简洁方便。更加简洁方便。更加简洁方便。

【技术实现步骤摘要】
一种基于图像知识回顾的深度卷积神经网络自蒸馏方法


[0001]本专利技术涉及人工智能及计算机视觉
，尤其是涉及一种基于图像知识回顾的深度卷积神经网络自蒸馏方法。

技术介绍

[0002]随着智能化的发展，大规模摄像头产生海量视频，为了提高视频结构化的效率，实际场景对摄像头的端侧处理能力提出了很高的要求。
[0003]针对于此，类似MobileNet、ShuffleNet等紧凑型的小型网络模型，以低资源消耗的优势，极大推进了端侧推理性能的发展。MobileNet、ShuffleNet等紧凑型的小型网络本身的设计，有效降低了端侧的推理耗时和硬件资源消耗，然而其推理精度相对于大规模的网络模型存在一定劣势，在网络结构限定的条件下，进一步提高其训练后的精度性能具有重要意义。
[0004]在网络结构限定的条件下，提高模型训练精度性能的常用方法是知识蒸馏，即设定异构的结构规模较大的教师网络和结构紧凑的学生网络，将教师网络学习到的信息传递给学生网络。然而，实际场景中不一定可以在所有任务中都顺利的获取教师模型，有的大网络由于数据的缺失，很难被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于包括如下步骤：S1，根据目标卷积神经网络的原始网络结构，构建辅助网络，从每个下采样层的前一层以及最后的全连接层引出分支特征；S2，辅助网络中待融合的分支特征A与原始网络中更浅层的分支特征B，进行融合，融合后的特征尺寸与原始网络中更浅层的分支特征B尺寸相同，将融合后特征输入辅助网络，并将辅助网络的各层依次连接，所述融合，引入注意力机制，包括如下步骤：S21，辅助网络中待融合分支特征A的宽高、通道数与原始网络中更浅层的分支特征B相同；S22，将A与B分别进行通道注意力操作，在宽高方向进行全局平均池化和全局最大池化操作，将得到的特征相加后，经过sigmoid操作，与原分支特征在通道方向相乘，分别得到通道注意力操作后的辅助网络中待融合的分支特征A1与原始网络中更浅层的分支特征B1；S23，空间注意力融合，将A1与B1在通道方向进行拼接操作，在通道方向分别进行全局平均池化和全局最大池化操作后，再次在通道方向进行拼接操作、卷积操作，经过sigmoid操作后，分别与A1、B1在宽高尺度上相乘，得到空间注意力融合后的辅助网络中待融合的分支特征A2与原始网络中更浅层的分支特征B2；S24，将A2与B2相加，得到融合后的特征；S3，原始网络中的全连接层，以及分支引出的辅助网络的全连接层，通过各自的softmax层，以最终的真值标签为目标进行训练，同时，原始网络中引出分支的特征，向各个融合后的分支特征进行蒸馏学习，包括如下步骤：S31，原始网络中的全连接层，以及分支引出的辅助网络的全连接层，通过各自的softmax层，以最终图像的真值标签为目标，通过损失函数L
k
分别进行训练：其中，Y
p
为预测概率值，Y
t
为图像的真值标签对应的真实概率值，α为调节参数，分别得到原始网络的损失函数L
k1
和辅助网络的损失函数L
k2
；S32，原始网络中引出的分支特征，向各个融合后的分支特征绑定，进行蒸馏学习，采用如下损失函数：其中，x表示原始网络输入的图像，f(
·
)表...

【专利技术属性】
技术研发人员：张逸，王军，徐晓刚，何鹏飞，虞舒敏，徐凯，
申请(专利权)人：之江实验室，
类型：发明
国别省市：