一种基于改进MSDNet与知识蒸馏的识别方法技术

本发明专利技术涉及IT应用领域，具体提供了一种基于改进MSDNet与知识蒸馏的识别方法，具有如下步骤：S1、获取识别图片进行数据样本采集；S2、对识别图片进行数据预处理和数据清洗获得满足要求的足量的识别图片，并对识别图片进行信息标注；S3、对步骤S2中识别的图片采用修改后的MSDNet模型进行训练，从而获得教师模型；S4、将步骤S3中的训练好的模型作为软标签配合图片中原有的标签，根据不同数据采用不同的temperture，从而训练出学生模型；S5、对步骤S1

【技术实现步骤摘要】
一种基于改进MSDNet与知识蒸馏的识别方法


[0001]本专利技术涉及IT应用领域，具体提供一种基于改进MSDNet与知识蒸馏的识别方法。

技术介绍

[0002]目前的图片识别神经网络效果往往取决于网络层数,即模型复杂度。通常来说，模型越复杂、卷积层越多的神经网络可以提取到图片更多的特征，从而有更好的识别结果。
[0003]然而，复杂的网络架构对算力要求较高，当算力成为瓶颈的时候，只能采用较为简单的识别模型，而简单模型识别效果通常不能得到很好地识别效果。随着神经网络层数加深，模型泛化性变差，容易过拟合，使得在训练集上表现好的模型难以在预测的时候表现优异。
[0004]神经网络层数过多，容易产生梯度消失现象，使得训练提前终止，需要多次人工干预；网络过大，使实时识别变得困难，影响实际应用时候的经济效益。
[0005]目前来看，亟需一种在轻量的前提下达到较高的识别精度的模型。

技术实现思路

[0006]本专利技术是针对上述现有技术的不足，提供一种实用性强的基于改进MSDNet与知识蒸馏的识别方法。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，具有如下步骤：S1、获取识别图片进行数据样本采集；S2、对识别图片进行数据预处理和数据清洗获得满足要求的足量的识别图片，并对识别图片进行信息标注；S3、对步骤S2中识别的图片采用修改后的MSDNet模型进行训练，从而获得教师模型；S4、将步骤S3中的训练好的模型作为软标签配合图片中原有的标签，根据不同数据采用不同的temperture，从而训练出学生模型；S5、对步骤S1
‑
S4采集到的数据组成识别的系统。2.根据权利要求1所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，所述修改后的MSDNet模型为在每个块的末尾实现一个提前退出分类器，并且能够通过在任何所需分类器处停止计算，且所有的子网都共享参数。3.根据权利要求2所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，所述识别图片输入时，若长宽比例不匹配，在数据清理阶段通过添加空白像素点使图片补充至指定要求。4.根据权利要求3所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，在MSDNet模型进行训练时，卷积后使用ReLu激活函数：φ(x)＝max(0，x)然后使用Inception网络把稀疏矩阵转换成密集的自矩阵，在沿着深度划分为若干块之后，在每个块的末尾实现一个提前退出分类器，最后使用全联接层，将卷积后神经网络提取的特征转换以数据的形式输入到全联接层之中。5.根据权利要求4所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，在知识蒸馏时，直接让学生模型去学习教师模型的泛化能力，迁移...

【专利技术属性】
技术研发人员：李尚锴，王凯，袁明明，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：